Cloudflare AI Gateway正式发布

Cloudflare最近宣布其AI Gateway现已正式发布。AI Gateway被描述为一个用于管理和扩展生成式AI工作负载的统一接口，开发者可以通过它获得对AI应用程序的可见性和控制。

主要功能

AI Gateway作为一个AI操作平台，提供了一个统一的接口，用于管理和扩展生成式AI工作负载。它充当服务与推理提供商之间的代理，无论模型在何处运行。通过将应用程序连接到AI Gateway，开发者可以监控用户交互、进行日志记录，并利用缓存、速率限制、请求重试和模型回退等扩展功能。

支持的多方提供商

除了Cloudflare Workers AI，AI Gateway还支持多个第三方提供商，包括OpenAI、Google Vertex AI、Azure OpenAI、HuggingFace、Amazon Bedrock和Anthropic。

核心特点

• 单行代码集成：只需一行代码即可解锁一系列强大的功能，涵盖性能、安全性、可靠性和可观察性。
• 仪表盘：AI Gateway仪表盘显示请求数量、令牌数量以及运行应用程序的成本等指标，并跟踪单个请求，提供有关提示、响应、提供商、时间戳和请求是否成功的信息。

用户反馈

• Amogh Sarda（Eesel联合创始人）表示，期待看到其敏感数据检测功能的实际应用。
• Brendan Skousen（Credexium创始人）认为，Cloudflare的AI工具性价比高，且内置了实时日志、缓存和速率限制等关键功能。

其他相关发布

Cloudflare近期还发布了Firewall for AI预览版，并将Workers AI正式推出，这些举措旨在简化开发者构建和部署AI应用程序的过程。

市场竞争

分析师Janakiram MSV指出，Cloudflare通过不断改进其边缘网络的能力，正在挑战亚马逊云服务（AWS）。AWS的Lambda平台尚未支持基于GPU的模型推理，其负载均衡器和API网关也未针对AI推理端点进行更新。

定价策略

目前，AI Gateway的核心功能在所有Cloudflare计划中都是免费的，但未来的高级功能（如持久日志记录和密钥管理）将需要付费使用。

总结

Cloudflare AI Gateway的发布为开发者提供了一个强大的工具，用于管理和扩展生成式AI应用程序，同时提供了对AI工作负载的全面可见性和控制。其支持的多方提供商和丰富的功能使其在AI操作领域中具有重要竞争力。