极客观点
项目管理
HarmonyOS
这是spider中start_requests的源码，为什么scrapy要默认不过滤重复的网页呢？这个不是无用功吗，重复爬取页面不是会造成爬取效率很差scrapy的start_requests中为什么要dont_filter=True不过滤重复的网页呢？
阅读 2.6k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
这是spider中start_requests的源码，为什么scrapy要默认不过滤重复的网页呢？这个不是无用功吗，重复爬取页面不是会造成爬取效率很差