转载:

每次切换IP依然被反爬?

使用产品类型:

隧道代理动态版(每次请求更换IP)。

问题描述:

目标网站有反爬机制,两次搜索的间隔时间不得少于25秒。使用了我们的隧道代理后,还是会被检测出来,依旧只能25秒访问一次。遂怀疑是我们的隧道代理没有更换IP。

结论

•对于requests.session要慎用,它会进行cookie存储,使用不当会被目标网站识别。
•并不是所有的网站防爬措施都是限制访问IP,需要进行具体分析。


K哥爬虫
161 声望134 粉丝

Python网络爬虫、JS 逆向等相关技术研究与分享。