请问rotbots.txt阻止该怎么写

目前是这样,

User-agent: *
Disallow:

我不想让后台页面和404页面被搜索引擎收录
后台页面的路径是/views/backstage/backstage-advice.html和/views/backstage/backstage-detail.html
404页面的路径是/views/404.html

但是路由设定是www.a.com/404.html 返回404页面
www.a.com/backstage-advice.html 返回backstage-advice.html页面
www.a.com/backstage-detail.html返回 backstage-detail.html页面

那,我的robots.txt该这样写吗

User-agent: *
Disallow: 
Disallow: /backstage/
Disallow: /404.html

还是该这样写

User-agent: *
Disallow: 
Disallow: /backstage-advice.html
Disallow: /backstage-detail.html
Disallow: /404.html
阅读 820
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题