初学scrapy,遇到下面的需求
1,先用本地IP采集;
2,若返回源码不正确,再用代理IP;
3,代理IP的重试&是否正确采集回页面内容;
了解到是要用到middlewares.py中间件,请教的是,这样的需求功能哪一步写在爬虫里OR哪一步写到中间件里呢,有案例代码最好了,谢谢。
初学scrapy,遇到下面的需求
1,先用本地IP采集;
2,若返回源码不正确,再用代理IP;
3,代理IP的重试&是否正确采集回页面内容;
了解到是要用到middlewares.py中间件,请教的是,这样的需求功能哪一步写在爬虫里OR哪一步写到中间件里呢,有案例代码最好了,谢谢。