pyspider 设置了隧道代理,为什么在调试时生效,实际爬取时不生效?

image.png
如图我配置配置了快代理的隧道代理。在调试时代理能够正常工作。
但是在爬虫run起来之后,代理却没有生效。
我判断代理没有生效的原因是:
1.快代理网站对我购买的隧道代理的监控中,代理使用次数没有增加image.png
图中零星的代理使用,是在调试过程,尝试爬取页面时的代理正确生效。
2.在Active Tasks任务的详情内容中,fatch中,无代理的配置。

image.png

我尝试使用下述配置启动,同样无效

pyspider --phantomjs-proxy 用户名:密码@tps158.kdlapi.com:15818
阅读 2.2k
1 个回答
新手上路,请多包涵

试试把代理写到self.crawl()里

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题
宣传栏