AI爬虫是否守规矩？部分守规矩。近30年来，网络的基本规则是内容创作者公开其作品，搜索引擎通过流量回馈他们。但随着AI模型大量消耗内容却几乎不带来流量，这一规则正在瓦解。本页面追踪AI公司是否遵守公平规则。

关键点

• AI模型消耗大量内容但几乎不回馈流量，影响内容创作者的生存。
• 本页面追踪主要AI模型提供商的爬虫行为，评估其是否遵守网络爬虫的最佳实践。
• 合规爬虫需要满足以下条件：公开并验证IP范围、为不同爬虫用途使用独立的用户代理、严格遵守robots.txt文件规则。
• WebBotAuth是一种使用加密签名验证爬虫身份的新标准，比仅依赖IP验证更安全。
• 分离爬虫身份有助于网站管理员控制内容用途，例如AI训练、实时推理或搜索引擎索引。
• robots.txt文件是网站管理员为爬虫提供访问指令的基础标准，遵守其规则是爬虫的基本要求。
• Cloudflare提供工具帮助管理爬虫访问权限，包括创建和管理robots.txt文件或仅在特定网站部分屏蔽爬虫。