主要观点：现代生成式 AI 模型如大型语言模型基于大量数据训练，其中很多数据由机器人从网络自动抓取。Cloudflare 推出 AI Audit 工具来抵御机器人群，9 月 23 日进入测试版并对客户开放，能让网站所有者了解 AI 机器人的活动，可决定允许或阻止其访问，未来还计划帮助设置价格。

关键信息：

• AI Audit 不依赖 robots.txt，利用 Web Application Firewall 识别网络流量来源，能抵御 DDoS 攻击，也可识别 OpenAI 等主要 AI 公司的机器人。
• 对于大型网站，处理 AI 机器人流量负载不成问题，但小型公司和个人网站会受影响，如 BingeClock 因机器人流量增加而添加服务器资源，AI Audit 能减轻其负担。
• AI Audit 目前主要作用是阻止机器人，Cloudflare 希望能帮助网站所有者在内容被爬取时获得补偿，已与一些出版商合作，也希望为小网站引入定价和交易流程，但目前该工具未发布，且有人对其能为小网站带来的货币价值持怀疑态度。
• AI Audit 可能引发对开放互联网受侵蚀的担忧，Cloudflare 称无意将其作为广泛控制或阻止流量的工具。

重要细节：

• 许多网站用 robots.txt 管理 unwanted bots，但不奏效。
• Logan Abbott 称 SourceForge 和 SlashDot 每月有数千万 AI 爬虫会话，有基础设施处理负载。
• Billy Gardner McIntyre 运营的 BingeClock 因机器人流量增加需添加 AWS 实例，AI Audit 让其流量减少。
• News Corp、Vox、Conde Nast 等与 OpenAI 有合作，Cloudflare 希望 AI Audit 能促进和监管这些合作。