对于低频代理IP爬虫目前有什么好的防控方式

Question

web官网的查询页，查询数据比较异常，分析后发现IP没有高频访问，基本访问次数都控制在10次以内，IP号段也没有明显聚集；IP归属省份倒是有明细聚集在3-4个省份；像这种特征的风险有什么好的防控建议吗？

Answer 1

如果是低频，就需要加入监控，利用设备指纹对这个IP定位，再根据智能算法发现该IP是否呈现一定的规律性。现在指纹产品比较成熟，去识别模拟器等风险作弊设备；IP风险库可以有效识别代理、秒拨IP，所以可以利用端+IP数据组合防控。不知道能不能帮助到你～

Answer 2

我认为你判断查询数据异常的依据就是防控这种爬虫的依据。

---

已参与了 SegmentFault 思否社区 10 周年「问答」打卡 ，欢迎正在阅读的你也加入。

Answer 3

低频就意味着你很难确定。一般通过一天访问的量，也可以在页面埋点，一般爬虫是直接爬api，没有触发页面埋点的，基本就可以判定爬虫。
判断一个用户在一秒钟、一分钟、一小时、一天内的访问数据汇总，分析出不是正常人的访问规律，然后纳入风险用户，强制手动验证码、短信验证等等。

Answer 4

低频的请求靠数据识别来区分爬虫难度很高 因为这个和正常用户可能区分不大。
这时候直接上验证码吧
很多厂商都有 顶象 极验 网易 腾讯 数美