为什么用七牛提供的域名会访问到自己的网站?

新手上路,请多包涵

访问到自己的网站没什么,关键是访问到的是 缓存的网站,就是说几天前的? 非常奇怪。貌似七牛缓存了我的网站。怎么关闭七牛提供的域名,使其不能访问到我的网站?

阅读 3.5k
2 个回答

这种情况是开启了镜像存储导致。
有搜索引擎扫描或有人主动访问时,会回源抓取镜像源站的对应文件。
解决方法是
1、在空间中设置合理的robots.txt策略
2、向空间中上传一个文件名为空且内容为空的文件(可以使用qboxrsctl工具进行),这个文件即对应源站主页面的镜像内容。在这个文件存在的情况下,镜像存储不会再去源站回源。

update

使用qboxrsctl工具:
http://developer.qiniu.com/docs/v6/tools/qboxrsctl.html

linux/mac下的操作:

./qboxrsctl login <username> <password>
touch blank.txt
./qboxrsctl put <bucket name> "" blank.txt

win下类似,生成一个空文件然后以空文件名""上传到空间。

估计楼主的意思应该是别人用七牛镜像存储功能镜像到了您的网站。
比如:http://acmerblog.qiniudn.com/ 就镜像了这个网站: http://www.acmerblog.com/
我没猜错的话你是不想让qiniu的那个域名去镜像你的网站。因为镜像的网站可能是缓存的你过去的网站。也就是你说的几天前的。
如果那个镜像站不是您创建的,建议您在您的网站上对user-agent进行限制,所有七牛爬虫抓取您的网站的时候都会在header带这个"User-Agent": "qiniu-imgstg-spider-1.0",您的程序在检测到之后可以禁止其访问,这样七牛的爬虫就不会抓取您的网站。缓存的那部分在一定时间后会过期,到时候镜像站就相当于不存在了。
关于header的详细信息,参考:
http://httpbin.qiniudn.com/headers
关于php如何禁止user-Agent,参考:
http://php.codemach.com/aspphp-jin-zhi-zhi-zhu-fang-wen-dai-ma.html
http://www.iamwawa.cn/blog/archives/92

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进