主要观点：许多内容创作者面临二元选择，要么让 AI 随意使用其创作，要么创建封闭花园。Cloudflare 主张内容创作者应掌控谁能访问其作品，提出第三种路径，即允许 AI 访问并获得补偿，推出了按次付费爬取（Pay per crawl）的私人测试。

关键信息：

• 按次付费爬取利用 HTTP 状态码和认证机制，让内容所有者能在互联网规模上实现内容货币化。
• 域名所有者可通过规则引擎控制访问策略，有允许、收费、阻止三种选择。
• 解决技术挑战需使用 Web Bot Auth 提案，包括生成密钥对、注册等步骤。
• 确定内容是否收费有反应式（先发现）和主动式（先意向）两种流程。
• 财务结算通过 Cloudflare 账户配置，记录计费事件并分配收益。

重要细节：

• 付费爬取时，若请求付费 URL，会返回 402 响应并附带价格，爬虫可重试并包含准确价格。
• 爬虫可提前在初始请求中包含最大价格，若价格符合则正常响应，否则返回 402。
• 仅可使用一个价格声明头，若请求无效则返回 402。
• Pay per crawl 目前处于私人测试，可通过特定网址联系，Cloudflare 还有其他网络服务。