对于低频代理IP爬虫目前有什么好的防控方式

安心
  • 254

web官网的查询页,查询数据比较异常,分析后发现IP没有高频访问,基本访问次数都控制在10次以内,IP号段也没有明显聚集;IP归属省份倒是有明细聚集在3-4个省份;像这种特征的风险有什么好的防控建议吗?

回复
阅读 863
4 个回答

如果是低频,就需要加入监控,利用设备指纹对这个IP定位,再根据智能算法发现该IP是否呈现一定的规律性。现在指纹产品比较成熟,去识别模拟器等风险作弊设备;IP风险库可以有效识别代理、秒拨IP,所以可以利用端+IP数据组合防控。不知道能不能帮助到你~

低频就意味着你很难确定。一般通过一天访问的量,也可以在页面埋点,一般爬虫是直接爬api,没有触发页面埋点的,基本就可以判定爬虫。
判断一个用户在一秒钟、一分钟、一小时、一天内的访问数据汇总,分析出不是正常人的访问规律,然后纳入风险用户,强制手动验证码、短信验证等等。

低频的请求靠数据识别来区分爬虫难度很高 因为这个和正常用户可能区分不大。
这时候直接上验证码吧
很多厂商都有 顶象 极验 网易 腾讯 数美

宣传栏