七牛镜像爬虫碰到404或500会疯狂重复抓取

我的服务器ip是14.136.153.201,今天因为两个图片的URL地址写错了,如
http://镜像域名/widget1.png所对应的http://镜像源/widget1.png是不存在的,或者当时服务器500了

导致七牛的爬虫对我的网站疯狂抓取,恶劣程度堪比DDOS,结果可想而知,我的网址挂了。。。

服务器日志(稍作修改):http://app-avatar.qiniudn.com/log.txt

阅读 3.5k
1 个回答

嗯,这个是镜像存储的bug,在修复的计划列表中。