GitHub - anthmn/ai-bot-blocker: 一次 AI 和 LLM 机器人阻止器

这是关于 Ichido AI 和 LLM 机器人阻止器的介绍,包括以下内容:

  • 功能:用于生产的 AI/LLM 机器人阻止 Web 服务器、防火墙和 robots.txt 配置生成器,可阻止已知的大型 AI 和 LLM 机器人访问网站内容,同时允许经典搜索引擎和合法用户访问。支持多种 Web 服务器、防火墙和标准,共 16 种配置文件变体,推荐配置可低误报率地阻止大多数 AI 机器人,非推荐配置会积极阻止机器人和网站抓取器但误报率高。
  • 使用步骤

    • 下载 robots.txt:将下载的 robots.txt 文件添加到网站根目录(https://<your_site>/robots.txt),如wget https://files.ichi.do/recommended-robots-block-ai-bots.conf /var/www/html/<web_root>/robots.txt
    • 下载 Web 服务器配置

      • Apache:启用 rewrite 模块,下载配置文件到conf-available目录,创建符号链接到conf-enabled,然后重启 Apache,如sudo a2enmod rewritesudo wget https://files.ichi.do/recommended-apache-block-ai-bots.conf -O /etc/apache2/conf-available/block-ai-bots.conf等。对于共享托管,使用.htaccess文件,步骤类似。
      • Nginx:下载配置文件到modules-available目录,在server块中包含配置,然后重启 Nginx,如sudo wget https://files.ichi.do/recommended-nginx-block-ai-bots.conf -O /etc/nginx/modules-available/11-block-ai-bots.conf等。
      • Lighttpd:下载配置文件到conf-available目录,创建符号链接到conf-enabled,然后重启 Lighttpd,如sudo wget https://files.ichi.do/recommended-lighttpd-block-ai-bots.conf -O /etc/lighttpd/conf-available/11-block-ai-bots.conf等。
      • Caddy:创建存储 Caddy 配置文件的目录,下载配置文件到conf-available目录,创建符号链接到conf-enabled,在站点块中导入配置,然后重启 Caddy,如sudo mkdir -p /etc/caddy/conf-available/ /etc/caddy/conf-enabled/等。
    • (可选)下载防火墙配置:对于 Iptables,安装iptables-persistent,下载配置文件到/etc/iptables/rules.v4,然后重启 Iptables,如sudo apt-get install -y iptables-persistentsudo wget https://files.ichi.do/non-recommended-iptables-block-ai-bots.conf -O /etc/iptables/rules.v4等。
  • 贡献流程:可在 Github 或 Ichido's Software Forge 上贡献,若有 Github 账号可使用标准工作流程,若无账号可通过邮件补丁贡献,步骤包括克隆仓库、设置用户名和邮箱、修改代码、添加并提交、创建补丁文件并发送邮件等。
  • 许可证:(C) Anthony Mancini 2024,根据 AGPL-3.0 许可,详见LICENSE.txt
  • 联系信息:Anthony Mancini,<anthony.m.mancini@protonmail.com>。
阅读 147
0 条评论