使用 Anubis 阻止 AI 爬虫

主要观点:作者因 AI 爬虫欺凌其 git 服务器而制作了 Anubis 工具来阻止它们,介绍了 Anubis 的工作原理、设置方法及相关细节,包括其基于哈希现金的原理、对不同客户端的处理逻辑、使用的技术和环境变量等,同时提到该软件的出现是因为现实中网络环境不佳,希望能帮助保护服务器,最后呼吁反馈意见及注意事实可能的变化。
关键信息:

  • 2025 年 1 月 19 日发布,1914 字,7 分钟读完。
  • Anubis 是中间 HTTP 代理,需客户端解决或已解决工作量证明挑战才能访问站点,可阻止多数 AI 爬虫。
  • 工作原理涉及多种现代浏览器特性,如 ES6 模块、Web Workers 等,挑战存储在客户端一周一次。
  • 设置 Anubis 需将其置于反向代理和目标服务之间,可通过 Docker 或 Kubernetes 安装,有多种环境变量配置。
  • 结论指出在当前网络环境下需采取措施保护服务器,欢迎反馈意见。
    重要细节:
  • Anubis 利用用户请求元数据生成挑战,如 Accept-Encoding 等,使用 ed25519 密钥对签名 JWT。
  • Docker 配置中指定了 Anubis 的监听端口、难度等环境变量及与 Nginx 的关联。
  • Kubernetes 示例中对 Anubis 的资源限制等设置及与 Ingress 的关联。
  • 强调若联系购买商业支持可获得 RPM 包和无品牌版本,否则用户每次解决挑战会看到动漫女孩。
  • 最后提醒事实可能变化,联系作者确认,且文中观点仅代表作者。
阅读 15
0 条评论