七牛空间里的robot.txt和网站根目录下的robot.txt能否同时存在

Question

网站根目录下有个robot.txt
七牛空间里也有个robot.txt
七牛空间是用的七牛的二级域名
这样的话，蜘蛛是访问哪个robot.txt，还是这俩都访问呢？
如果只访问一个的话，以哪个为准？

Answer 1

可以同时存在。蜘蛛访问镜像站的时候，是访问镜像空间的robot.txt，访问源站的时候是访问源站的robot.txt。