如何告知爬虫不要爬指定的某个子域名下的网页？

发布于
2016-08-04

如何告知爬虫不要爬指定的某个子域名下的网页？robots.txt里面该如何写？

阅读 2.7k

1 个回答

Cyber_Cynic

发布于
2016-08-04

更新于
2016-08-04

禁止二级域名被搜索引擎蜘蛛抓取的思路

查看全部 1 个回答

推荐问题

把 MarkDown 源码放在 div 中，然后动态渲染能被搜索引擎的爬虫爬到吗？
前几天在某 js 库中看到了类似的用法，所以想这样对爬虫是否友好一些。我想用 markdown-it 动态渲染。不想花太多钱在服务器上，所以不想用 node.js。问了 DeepSeek 它一直说这样对 SEO 不友好。
2 回答1k 阅读

相似问题

找不到问题？创建新问题