爬虫的useragent 如何看穿爬虫的

Question

也就是服务器通过header中的useragent 能看出啥

Answer 1

• UserAgent是指浏览器,它的信息包括硬件平台、系统软件、应用软件和用户个人偏好，通过UA可以分析出浏览器名称、浏览器版本号、渲染引擎、操作系统。使用方法直接打开查看即可，也可以把其它浏览器的UA复制过来进行分析。

比方说:

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36

代表的含义是：

浏览器名称    Chrome
浏览器版本号    65.0.3325.181
渲染引擎    WebKit 537.36
操作系统    Linux x86_64

• 服务器可以用过检查UserAgent是否为空，或者是否正常合理来判断对方是否是爬虫。
• 当然现在也有不少爬虫，通过伪造UserAgent来躲过服务器的反爬虫检查。

Answer 2

如果你短时间内 反复请求多次 人家一看都是一模一样的 user-agent
肯定是非人类操作 所以看出来你是个爬虫