Hugging Face 通过新提供商集成扩展无服务器推理选项

Hugging Face 集成四大无服务器推理提供商

Hugging Face 近期在其模型页面中集成了四大无服务器推理提供商:FalReplicateSambaNovaTogether AI。这一集成不仅体现在 Hugging Face 的网站界面中,还扩展到了其 JavaScriptPython 客户端 SDK,使用户能够以最少的设置在各种模型上运行推理。

主要功能与特点

  1. 灵活选择推理提供商:用户可以根据需求选择推理提供商,既可以使用自己的 API 密钥直接访问,也可以通过 Hugging Face 路由请求。
  2. 统一接口管理:集成支持多种模型(如 DeepSeek-R1),并提供了跨提供商的统一接口,便于管理推理任务。
  3. 多平台访问:开发者可以通过网站 UI、SDK 或直接 HTTP 调用访问这些服务。
  4. 无缝切换提供商:只需修改 API 调用中的提供商名称即可切换提供商,而无需更改其他实现细节。
  5. OpenAI 兼容 API 路由代理:Hugging Face 提供了 OpenAI 兼容 API 的路由代理,进一步简化了集成过程。

合作伙伴观点

  • Rodrigo Liang(SambaNova 联合创始人兼 CEO)表示,与 Hugging Face 合作加速了其推理 API,使开发者能够在大量最佳开源模型上获得更快的推理速度。
  • Zeke Sikelianos(Replicate 创始设计师)认为,Hugging Face 是开源模型权重的实际家园,对 AI 的普及起到了关键作用,Replicate 内部也将 Hugging Face 作为首选权重注册表。

技术优势与应用场景

  • 快速准确的 AI 推理:随着测试计算和 Agentic AI 对更多 token 的需求增加,快速准确的 AI 推理变得至关重要。
  • 开源模型优化性能:开源模型帮助优化 RDU 性能,使开发者能够实现高达 10 倍的推理速度提升,并提高准确性。

计费方式

  • 用户提供 API 密钥:计费由推理提供商直接处理。
  • 通过 Hugging Face 路由请求:按标准提供商费率计费,无额外加价。
阅读 24
0 条评论