爬虫爬取网页,单个爬虫能够爬取,多线程爬虫就打不开url了?

如题,单个爬虫能够爬取,多线程爬虫就打不开url了,是不是多线程爬虫之间的请求时间太短,导致触发了网站的反爬虫机制?

阅读 3.4k
2 个回答

注意延时请求,我通常只有再图片下载的时候开协程批量下载。

可以尝试每次请求换代理IP,极大可能是访问速率过快后被拉入blacklist了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题