robots.txt文件怎么写能只允许爬首页和指定链接？

Question

User-Agent: *
Disallow: /
Allow: /article

比如我这样写，他会爬取article目录下的网页，但是我还想蜘蛛爬取首页怎么办？除此以外的链接我不想让蜘蛛爬取到

Answer 1

User-Agent: *
Disallow: /*
Allow: /$
Allow: /test.html

测试结果：