目前是这样,
User-agent: *
Disallow:
我不想让后台页面和404页面被搜索引擎收录
后台页面的路径是/views/backstage/backstage-advice.html和/views/backstage/backstage-detail.html
404页面的路径是/views/404.html
但是路由设定是www.a.com/404.html 返回404页面
www.a.com/backstage-advice.html 返回backstage-advice.html页面
www.a.com/backstage-detail.html返回 backstage-detail.html页面
那,我的robots.txt该这样写吗
User-agent: *
Disallow:
Disallow: /backstage/
Disallow: /404.html
还是该这样写
User-agent: *
Disallow:
Disallow: /backstage-advice.html
Disallow: /backstage-detail.html
Disallow: /404.html