scrapy会在所有数据采集完之后又跑几遍起始链接?

图1:
1.png

图2:
2.png

如图1、2,图1中所有的详情页已经爬完了,按理说该结束了,但是后面又跑了几遍起始链接(图二)

爬虫配置基本都是默认的。

大概流程是:有10个列表页,会去每个列表页抓文章。现在的情况是每个列表页的文章抓完了,又去跑了几遍列表页..

有遇到过这种情况的么

阅读 904
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题