服务端如何识别当前页面访问请求来自搜索引擎抓取？

Question

有什么简单的策略，判定该页面是被搜索引擎爬取呢？
网上有了解到根据UA里面类似robot这样的参数来识别，还有其他方法么？

Answer 1

没法实现的,如果能实现的话SEO都要去喝西北风了,搜索引擎直接能识别静态的例如html的这种....JS的哪些方法说是伪静态啥的其实没用的,如果是门户网站放弃吧,乖乖SEO优化去.

Answer 2

你应该多关注下百度的公告，几个月前已经宣布会主动爬JS，同时也公布了如何识别百度蜘蛛。