如题,单个爬虫能够爬取,多线程爬虫就打不开url了,是不是多线程爬虫之间的请求时间太短,导致触发了网站的反爬虫机制?
注意延时请求,我通常只有再图片下载的时候开协程批量下载。
可以尝试每次请求换代理IP,极大可能是访问速率过快后被拉入blacklist了
4 回答4.4k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
1 回答3k 阅读✓ 已解决
3 回答2.1k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.8k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
3 回答8.9k 阅读
2 回答12.8k 阅读✓ 已解决
4 回答6.1k 阅读
2 回答6.4k 阅读✓ 已解决
2 回答7.4k 阅读✓ 已解决
注意延时请求,我通常只有再图片下载的时候开协程批量下载。