Uber 创建统一的 LLM 服务平台：GenAI Gateway

Uber 为了整合外部供应商和自托管的大型语言模型（LLMs），创建了一个统一平台——GenAI Gateway。该平台旨在简化 LLM 的集成过程，帮助内部团队更高效地利用 LLM 技术。GenAI Gateway 提供了统一的接口，支持超过 60 种不同的 LLM 应用场景，涵盖多个领域。

背景与挑战

Uber 是 LLM 技术的早期采用者，多个团队在流程自动化、客户支持和内容生成等领域引入了 AI 驱动的功能。然而，分散的集成工作导致了重复劳动和方法不一致。为了解决这些问题，Uber 决定将 LLM 模型的服务集中到一个单一平台：GenAI Gateway。

GenAI Gateway 的设计与优势

Uber 的高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建该平台的初衷：

• 简化集成流程：GenAI Gateway 为希望在其项目中利用 LLM 的团队提供了简化的集成过程。
• 标准化审查流程：工程安全团队负责审查用例，确保其符合 Uber 的数据处理标准，然后才允许访问网关。
• 采用 OpenAI API：由于 OpenAI API 的广泛应用和开源库（如 LangChain 和 LlamaIndex）的可用性，团队选择采用 OpenAI API 作为网关的基础，进一步简化了集成过程。

技术架构

GenAI Gateway 是一个基于 Go 语言的服务，集成了外部（如 OpenAI、Vertex AI）和内部的 LLM，并提供了多种通用功能，包括身份验证、账户管理、缓存和可观察性/监控。

数据隐私与挑战

网关支持个人身份信息（PII）的减少，这在 LLM 的上下文中既重要又具有挑战性。Uber 希望在将请求转发给第三方供应商之前匿名化 PII 数据，以避免敏感数据的暴露。然而，减少 PII 可能会导致请求丢失关键上下文信息，从而影响 LLM 的响应质量。此外，数据减少对 LLM 缓存和检索增强生成（RAG）也带来了问题。团队正在通过鼓励使用 Uber 自托管的 LLM 或依赖第三方供应商的安全保证来解决这些挑战。

案例分析：客户支持聊天摘要

Uber 通过一个案例展示了 GenAI Gateway 的应用效果：为客服代理生成聊天摘要，以提高其操作效率。使用 LLM 进行摘要生成后，97% 的摘要被代理认为有用，并且用户查询处理时间减少了六秒。目前，该解决方案每周生成约 2000 万条摘要，团队计划扩展到更多地区和联系人类型。

未来计划

团队在开发和运营 GenAI Gateway 过程中积累了丰富的经验，并计划进一步改进，包括智能 LLM 缓存机制、更好的回退逻辑、幻觉检测以及安全和策略防护措施。

通过 GenAI Gateway，Uber 不仅提升了内部团队的工作效率，还为未来的 AI 应用场景奠定了坚实的基础。