scrapy内容分页抓取

Question

一些网站的内容篇幅太长，分成多个分页，这样可以提高网站的PV量，抓取的时候就要写分页抓取规则，这个到简单，在scrapy用yield request方式抓取分页内容，（到现在都还没弄懂生成器是啥玩意。汗）怎么把这些内容合并成一篇完整的文章？目前我就卡在这个位置2天了一直尝试用优美的办法解决，但是无果，而且目前没有任何文章介绍这块的真奇怪。。难道大家都不抓取分页么。

已经用scrapy内置功能解决了！

Answer 1

我的实现是先抓取后再根据抓取的结果合并, 我并不想scrapy做太多的事情.
例: 我在抓取一个书籍试读网站时, 先抓取他的分页页码并批量下载页面. 然后根据分页信息进行合并.

Answer 2

求解具体怎么弄。一个文章，分成好多页，还没理明白怎么才能分页采集了合一起。