pyspider现在任务全部卡在scheduler2fetche队列。用的是rabbitmq
爬虫状态
目前的情况爬虫一直卡在active中。
点进去状态是active
pyspider现在任务全部卡在scheduler2fetche队列。用的是rabbitmq
爬虫状态
目前的情况爬虫一直卡在active中。
点进去状态是active
我也遇到这样的情况,fetcher在堆积了很多任务后开始出错,timeout,程序调试时出错的网址是可以正常运行的,
最后发现多开几个fetcher和processor就没问题了
查看 fetcher 日志,看看它在干嘛