如题,单个爬虫能够爬取,多线程爬虫就打不开url了,是不是多线程爬虫之间的请求时间太短,导致触发了网站的反爬虫机制?
注意延时请求,我通常只有再图片下载的时候开协程批量下载。
可以尝试每次请求换代理IP,极大可能是访问速率过快后被拉入blacklist了
2 回答5k 阅读✓ 已解决
2 回答1k 阅读✓ 已解决
4 回答936 阅读✓ 已解决
3 回答1.1k 阅读✓ 已解决
1 回答1.7k 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
3 回答9k 阅读
2 回答13k 阅读✓ 已解决
4 回答6.1k 阅读
2 回答6.5k 阅读✓ 已解决
2 回答7.5k 阅读✓ 已解决
注意延时请求,我通常只有再图片下载的时候开协程批量下载。