如何禁止蜘蛛抓取PHP网页内的部份内容?

图片描述如果加一条代码 rel='nofollow' 可以么?或者加到哪个位置,刚接触不太懂,请指明,谢谢!!

图片描述

阅读 2.9k
3 个回答

页面加个判断 如果是爬虫的话不展示那部分内容

如果是禁止抓取某个页面,可以使用robots.txt文件或者通过nginx对http中user agent阻塞来实现;
如果只是几个HTML标签的话恐怕不行

整个页面我知道呢,就是不想这部分内容被抓取

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题