1

为什么看博客的时候里面的链接总是 404

作为一个野路子程序员,看大牛的博客是学习,进步的很重要的一个信息来源。
作为一个信息的汇聚点,博客中总会引用些其他的经典文章,或是某开源项官方文档中的重要部分。
然而由于更新博客是很低频率的事件,所以随着时间推移,很可能发生的情况是:大牛引用的另一篇文章
已经被删除,或者干脆域名到期,引用的博客关门大吉;由于开源项版本升级,原先的文档已经不适用因而
官方删除了。
So, 404...

现状

尝试测试了 阮一峰(http://www.ruanyifeng.com/blog/), 王垠(http://www.yinwang.org/) 等知名博主的博客,发现几乎都有链接失效的问题。
可见此问题很常见。

博主

大多数的博主并不是通过写博客盈利赚钱,所以不可能定期去检查以前博文中的链接是否有效。
话说回来,即便真的是通过写博客盈利赚钱,那么多的博文,也不太可能定期去检查以前博文中的链接是否有效吧。。

读者

虽然对我很不友好,破坏了上下文和文章的完整性,但是
习惯了。。认了吧。。。凑合看吧。。

中国特色

由于众所周知的原因,中国读者遇到引用链接不可访问的情况更多,并且不可访问的链接越来越多。

作为一个独立开发者,用了若干个第三方服务,CDN 等。天有不测风云风云,保不齐哪天哪个服务商就黄了,或者哪个 CDN
又被墙了。。。

尝试解决

一个可能的解决方法 link doctor

https://doctor.dry.ninja/

博主(站长)在网站注册后,系统尝试定期(每6小时1次,可设定)对网站进行一次分析,找出失效的引用的链接,或是失效的引用的资源(js, css),
并将分析结果发送给博主(站长)。

目前刚刚有想法做这个东西,并做了个简单的 Demo。
在检测的全面性和精准度方面还不做保证。如果真的有博主有这个需求,请收藏、标星。如果没有人有需求的话,就弃坑了。。
或者有什么好的建议的话,欢迎提个 issue。

github 地址在此:
https://github.com/FingerLiu/...

待解决问题

  • 爬虫被 ban
  • 由于国内和国内网络环境不同,分别部署不同的服务器
  • 什么需要检测什么不需要
  • 对引用的链接进行备份(snapshot)。

FingerLiu
562 声望28 粉丝

先广后精。Explore the whole world,and then do one thing but do it best.