网页信息抓太快导致封锁IP的情况,网络爬虫如何处理?

采集一个网站太频繁,能够采集的网页越来越少,甚至会被封杀IP,只有控制好采集速度和频率才能持续地获得数据,并且,要定期清理浏览器的cookies。

阅读 3k
3 个回答

这东西就跟并发大了要么加机器硬顶住流量,要么限流,很明显目前你这个走代理不就ok了,

你该不会是想用单 IP 爬全站吧? 现在有很多的代理IP商家 我目前用的一家就比较好,适合爬虫和数据采集等。他家叫代理云。IP是24小时源源不断产生的。

新手上路,请多包涵

这个得用代理

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题