如何防止蜘蛛识别出来

Question

我想用A网址jx.mh87.cn/vip/213.htm 做一个给蜘蛛看的页面。如果不是蜘蛛就跳转另外一个页面上，如何不被蜘蛛发现我搞黑帽SEO了

Answer 1

伪需求。

你试图对一个完全没有指定方向的问题来寻找一个答案。

如果只是对spider欺骗的话是可以的，可以通过header或者其他方式来识别。

但是你又想要让某种方式下，spider通过隐藏也没法发现，这就是伪需求了。除非你针对每一个页面都做人机识别验证，是人访问才返回另外的内容，否则就只是正常页面。

人机识别验证这一块方案可选的就比较多了，但这样做也可能会干扰正常用户的访问

Answer 2

楼主是不是想屏蔽掉常见的一些爬虫，比如baidu或者google的spider？如果是搜索引擎爬虫的话，其实可以判断ua或者来源的ip就能分辨该请求是否是爬虫请求。但是如果不是那些公开的爬虫，想防止个人做的爬虫访问页面……很难。