同一份代码在本地测试请求数据页返回200,
但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417
用Advanced REST client在本地模拟这段请求也是可以通过的
查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢
同一份代码在本地测试请求数据页返回200,
但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417
用Advanced REST client在本地模拟这段请求也是可以通过的
查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢
4 回答4.5k 阅读✓ 已解决
1 回答3.3k 阅读✓ 已解决
4 回答3.8k 阅读✓ 已解决
3 回答2.2k 阅读✓ 已解决
1 回答4.5k 阅读✓ 已解决
1 回答3.9k 阅读✓ 已解决
1 回答2.8k 阅读✓ 已解决
爬虫有两点很重要,控制抓爬频率,使用代理抓爬,慢一点没关系,持久有效才是目标。