scrapy 如何判断代理IP采集成功?

初学scrapy,遇到下面的需求

1,先用本地IP采集;

2,若返回源码不正确,再用代理IP;

3,代理IP的重试&是否正确采集回页面内容;

了解到是要用到middlewares.py中间件,请教的是,这样的需求功能哪一步写在爬虫里OR哪一步写到中间件里呢,有案例代码最好了,谢谢。

阅读 3.1k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进