在查看网站日志的时候发现qiniu-imgstg-spider-1.0抓取图片

Question

在查看网站日志的时候发现qiniu-imgstg-spider-1.0抓取图片

访问抓取的图片后发现出现原图不存在

请问可以这对网站有没有影响如果有影响的话 如何禁止qiniu-imgstg-spider-1.0的抓取是设置在镜像站的robots.txt还是原站上的robots.txt

Answer 1

这个是镜像存储API去到源站抓图，如果想停掉很简单，把镜像存储关掉就好。镜像存储的方式是当用户访问到不存在的资源，会到源站去取。

Answer 2

没有影响， 你设置好镜像以后，访问的内容加速节点不存在时才会去你的源站抓取。 如果源站也不存在就会每次都去源站抓取。 设置robots.txt 是没用的，那个只是针对搜索引擎的规则。 http://kb.qiniu.com/how-to-use-image-storage-and-qrsync