api:http://api.bilibili.com/x/web...
在库里已经有了70w个aid,每天凌晨按aid获取视频播放量更新
然后今天凌晨突然出现了问题,每次获取200-300条数据后,就会出错,之后的数据全都会出错,例如:
错误号: 403
用户IP: 112.28.149.110
前端服务器: cn-jswx-cmcc-w-02
处理服务器: shylf-ops-slb-09
请求地址: http://api.bilibili.com/x/web...
2分钟后再来,出错就会“解决”,再获取200-300条不等后,问题又会出现。
这是今天新出的反爬虫机制?
上面的报错不是python的报错,而是浏览器页面的报错。即原本应该出现一组json数据,但现在是“非常抱歉,你要找的页面不见了”
这和我的ip 有关吗
有解决的办法吗
这是一个非常常见的反爬策略,同一IP某一时间段访问过于频繁,限制请求多长时间
如果你对数据的时效性要求不高,可以设定请求间隔,比如0.5秒,1秒
如果对时效性要求比较高,则可以使用代理ip的方式