网站爬虫防范方案？

Question

常见的网站爬虫防范方案

Answer 1

很难完全避免，只能提高抓取难度

1、把价格生成图片

2、价格不直接跟页面输出，通过 js ajax 动态输出

Answer 2

多访问几次就弹个验证码

Answer 3

将文字生成图片

Answer 4

可以将返回的数据赋值到js变量中，然后用js来循环输出到页面中。这样不利于百度

再就是还是赋值到js变量中，把一些其他的内容先循环到页面中，给特定的地方加上id标识

然后js循环的时候往那几个地方插入值就可以了。

比如：<div><span>物品</span><span id="money-物品id"></span></div>

js 部分

for(key in data){
$("#money-data[key][id]").html(data[key][money]);    
}

温馨提示：对于我来说，不管网站怎么防采集都没用，我火车头什么都可以采集到，我玩的可6了。

Answer 5

理论上只要正常用户能看到，爬虫就能抓下来。所以数据量小并且更新慢的话是无解

Answer 6

只能生成图片来解决了，虽然也不保险，因为现在的技术完全能识别图片中的数字