scrapy中间件已经写过了,可以每次请求换一次代理,但是跑起来很慢,一天也就十几万的样子
代理是api那种,想减少代理的请求次数。
所以想到,多少次换一次代理这种。
scrapy中间件已经写过了,可以每次请求换一次代理,但是跑起来很慢,一天也就十几万的样子
代理是api那种,想减少代理的请求次数。
所以想到,多少次换一次代理这种。
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
可以scrapy中间件里边,start_request里边设定一个计数器,每100次就去换代理。