Scrapy卡死不动是什么问题?

从前几天开始起,我的Scrapy爬虫就一直运行不了,也就是说,以前是完全可以运行的,最近几天它出现的错误如下所示:
图片描述
然后就一直在retry...但我用shell或者用浏览器是可以直接访问这些网址的,所以不存在ip被封禁的问题,把User-agent也设置了,Cookie也禁止了,都没用。上网问了好多都没有结果,所以想在这里问一下是什么原因导致了在Scrapy框架下访问不了这些网址的问题。以前运行起来完全不存在这些问题,每秒钟可以达到40多次请求,在5分钟之内可以爬取几万数据。

阅读 6.2k
1 个回答

5秒的超时是不是时间短了点?


还有新建个项目,只把spider拷过去看看能不能run。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题