scrapy 使用redisbloomfilter去重10个url后爬虫退出了

Question

问题描述

请求scrapy有没有地方设置了重复请求几次或其他策略就停止程序？

Answer 1

知道了，因为程序当前程序产生的所有请求URL都已经重复了，没有新的URL可以请求了。