大家都怎么防采集的,哪一种性能最高?

K哥爬虫
  • 86

有不少站都有防采集,一般是 IP 和 cookie,还有 session (会员)

1、从 IP 入手一般限制某个时间段内访问的最多次数,超过则出现验证码,弊端是每次访问都要检测该 ip 的访问次数和执行判断

2、从 cookie 入手,较为简单,但是显然防守能力很差

3、从会员入手,页面只有会员才能访问(或者超过多少页面就必须会员才能访问),一个会员一天只能访问多少次,弊端也很明显

有没有更佳的方法?

回复
阅读 669
1 个回答

一般是采用第一种方式,每次检测ip也并不是很费性能。
当然如果流量很大的话,也可以将ip检测功能,独立出来

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏