爬虫抓取数据页一直返回HTTP code 417

同一份代码在本地测试请求数据页返回200,
图片描述
但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417
图片描述

用Advanced REST client在本地模拟这段请求也是可以通过的
图片描述

查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢

阅读 4.2k
2 个回答

爬虫有两点很重要,控制抓爬频率,使用代理抓爬,慢一点没关系,持久有效才是目标。

很可能是服务器因为采集数据过多被封了,这样只能使用HTTP代理了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题