转载:
使用产品类型:
隧道代理动态版(每次请求更换IP)。
问题描述:
目标网站有反爬机制,两次搜索的间隔时间不得少于25秒。使用了我们的隧道代理后,还是会被检测出来,依旧只能25秒访问一次。遂怀疑是我们的隧道代理没有更换IP。
结论
•对于requests.session要慎用,它会进行cookie存储,使用不当会被目标网站识别。
•并不是所有的网站防爬措施都是限制访问IP,需要进行具体分析。
隧道代理动态版(每次请求更换IP)。
目标网站有反爬机制,两次搜索的间隔时间不得少于25秒。使用了我们的隧道代理后,还是会被检测出来,依旧只能25秒访问一次。遂怀疑是我们的隧道代理没有更换IP。
•对于requests.session要慎用,它会进行cookie存储,使用不当会被目标网站识别。
•并不是所有的网站防爬措施都是限制访问IP,需要进行具体分析。
K哥爬虫阅读 96
Swift社区赞 4阅读 249
universe_king赞 2阅读 10.5k评论 1
汤青松赞 3阅读 1.1k
LLLibra146赞 3阅读 490
universe_king阅读 5.7k
K哥爬虫赞 2阅读 449
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。