我使用的是又拍云的“静态 CDN”服务
目前已经禁止空的来路访问,但是还是会被百度收录
这个问题其实是让我挺困扰的,我尝试使用 FTP 上传了一个自定义的 robots.txt,内容如下:
User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow: /
我也清空了许多次缓存,但是我在访问的时候,出现的还是我网站的 robots.txt