从前几天开始起,我的Scrapy爬虫就一直运行不了,也就是说,以前是完全可以运行的,最近几天它出现的错误如下所示:
然后就一直在retry...但我用shell或者用浏览器是可以直接访问这些网址的,所以不存在ip被封禁的问题,把User-agent也设置了,Cookie也禁止了,都没用。上网问了好多都没有结果,所以想在这里问一下是什么原因导致了在Scrapy框架下访问不了这些网址的问题。以前运行起来完全不存在这些问题,每秒钟可以达到40多次请求,在5分钟之内可以爬取几万数据。
从前几天开始起,我的Scrapy爬虫就一直运行不了,也就是说,以前是完全可以运行的,最近几天它出现的错误如下所示:
然后就一直在retry...但我用shell或者用浏览器是可以直接访问这些网址的,所以不存在ip被封禁的问题,把User-agent也设置了,Cookie也禁止了,都没用。上网问了好多都没有结果,所以想在这里问一下是什么原因导致了在Scrapy框架下访问不了这些网址的问题。以前运行起来完全不存在这些问题,每秒钟可以达到40多次请求,在5分钟之内可以爬取几万数据。
4 回答4.5k 阅读✓ 已解决
1 回答3.2k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.4k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
5秒的超时是不是时间短了点?
还有新建个项目,只把spider拷过去看看能不能run。