scrapy 怎么设置爬100次换代理

scrapy中间件已经写过了,可以每次请求换一次代理,但是跑起来很慢,一天也就十几万的样子

代理是api那种,想减少代理的请求次数。

所以想到,多少次换一次代理这种。

阅读 5.7k
2 个回答

可以scrapy中间件里边,start_request里边设定一个计数器,每100次就去换代理。

写一个中间件进行计数

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题