采集一个网站太频繁,能够采集的网页越来越少,甚至会被封杀IP,只有控制好采集速度和频率才能持续地获得数据,并且,要定期清理浏览器的cookies。
这东西就跟并发大了要么加机器硬顶住流量,要么限流,很明显目前你这个走代理不就ok了,
你该不会是想用单 IP 爬全站吧? 现在有很多的代理IP商家 我目前用的一家就比较好,适合爬虫和数据采集等。他家叫代理云。IP是24小时源源不断产生的。
这个得用代理
8 回答6.5k 阅读
2 回答4.3k 阅读✓ 已解决
2 回答863 阅读✓ 已解决
1 回答4.1k 阅读✓ 已解决
4 回答704 阅读✓ 已解决
3 回答857 阅读✓ 已解决
2 回答2.2k 阅读✓ 已解决
5 回答8k 阅读✓ 已解决
2 回答2.7k 阅读
4 回答12.9k 阅读
4 回答4.4k 阅读
6 回答12.9k 阅读✓ 已解决
这东西就跟并发大了要么加机器硬顶住流量,要么限流,很明显目前你这个走代理不就ok了,