如果加一条代码 rel='nofollow' 可以么?或者加到哪个位置,刚接触不太懂,请指明,谢谢!!
页面加个判断 如果是爬虫的话不展示那部分内容
如果是禁止抓取某个页面,可以使用robots.txt文件或者通过nginx对http中user agent阻塞来实现;如果只是几个HTML标签的话恐怕不行
整个页面我知道呢,就是不想这部分内容被抓取
5 回答1.4k 阅读
5 回答1.5k 阅读✓ 已解决
2 回答1.5k 阅读✓ 已解决
2 回答863 阅读✓ 已解决
1 回答1.2k 阅读✓ 已解决
1 回答1.1k 阅读✓ 已解决
2 回答2.2k 阅读
3 回答12.4k 阅读✓ 已解决
1 回答7.2k 阅读
3 回答5.3k 阅读
3 回答7.3k 阅读
页面加个判断 如果是爬虫的话不展示那部分内容