AI网关对企业的意义及如何构建 AI 网关

随着大模型的发展，越来越多企业将生成性AI应用投入生产和业务当中，因而企业组织的系统应用也将面临前所未有的多重挑战，包括：如何遵循AI安全政策、如何理解用户行为，以及确保应用的可靠性和性能。AI网关旨在帮助企业应对AI调用的挑战及更多问题。AI网关充当组织内AI的中心访问点，通过单一接口无缝集成多个模型提供商。

本文中，我们将讨论实施AI网关的好处和挑战，以及企业组织如何从这种架构中受益。

一、AI网关的好处

首先我们有必要了解它在AI应用中的重要性。AI网关不仅简化了模型的管理，还可以帮助企业更有效地提升安全性、合规性和运营效率。

通过集中管理AI模型的使用，AI网关能够为组织提供更高的控制力和灵活性，确保应用程序的稳定性和安全性。接下来，我们分析一下AI网关在多个关键领域的具体优点

1. 提升安全防护

在开发AI应用时，安全性应始终是首要考虑。实施安全检查的方式有多种，但通常由开发应用的技术团队承担责任。将安全防护措施集成到AI网关中，可以确保所有应用都遵循组织的安全政策。这些安全措施可以通过多种方式来实现：

• 敏感数据检测：可以在网关中嵌入个人身份信息(PII)或支付卡信息(PCI)检测，确保不向模型泄露敏感数据。
• 防止虚假信息：许多组织使用基于检索增强生成（RAG）和向量嵌入来控制虚假信息；而检索机制和向量数据库通常位于应用层，AI网关则可以为开发者提供更广泛的向量嵌入模型选择。
• 基于大语言模型(LLM)的安全性：LLM可以用来评估提示并拒绝任何潜在不安全的请求。

安全措施可以作为预处理和后处理步骤，以确保模型输入和输出的安全性。

2. 轻松实现内容监管

内容审核是企业通过主动审查和管理AI生成内容的过程，以确保生成的内容符合企业特定标准和指导方针（如政治敏感、符合法律法规、企业敏感数据等）。

内容审核模式可以包括：

• 基于规则的过滤：可以配置规则过滤包含特定关键词或主题的请求；网关应提供简单的接口以编写和部署审核规则。
• 反馈与评估：AI网关应提供接口以捕获和记录反馈，以便进行审查和持续改进。
• 审计：通过集中式网关运行所有AI提示和响应，便于跟踪和审计组织内的AI使用情况。

一个实施良好的AI网关应为审核和监管人员提供所有必要工具，以确保企业组织的信息安全。

3. 审批流程与合规性保障

很多企业组织已实施AI项目的审查流程，以确保AI项目的落地合规。AI网关很好地融入了这一工作流程，任何团队在使用网关之前必须请求访问。如果网关是你们企业AI的主要访问点，有效保证了所有使用AI的应用都经过企业内部人员适当审查。

工作流程的示例如下：

另外一点事，审批授予网关的访问权限也可以提前进行，为了方便还没制定完整产品计划的用户提供试验的通道。

4. 实现便捷的统一接口

4.1 统一API接口

AI网关为网关背后的任何模型提供单一接口。也就是说开发者可以通过更改单个参数在调用Anthropic Claude模型和OpenAI GPT模型之间切换。这种灵活性让开发人员能够快速了解准确性、延迟和成本的权衡，通过配置应用使用网关的不同模型。

4.2 基础设施管理

使用AI网关的部门和个人成员不需在为模型的配置操心，访问LLM进行试验探索更加便捷。

5. 构建灵活的架构模型

5.1 模型

由于大语言基础模型仍在快速改进，而且云服务提供商经常性更改其API支持的模型版本。通过AI网关对接这些模型，可以一次性部署并使其对所有消费应用可用。

5.2 监管

AI的监管环境不确定。AI网关保证企业拥有一个主要系统以便随着监管的演变进行更新，灵活应对挑战。网关的灵活性还允许不同垂直行业根据其监管要求实施规则。例如，医疗公司可以配置规则，以确保遵循HIPAA最低必要规则。

6. 完善的可观察性与监控

日志记录

所有通过网关的请求和响应应被捕获并记录。一旦数据被记录，可以建立数据管道将其推送到数据仓库进行进一步分析。该数据集可用于多种应用，例如：

• 提高AI产品的准确性和性能
• 审计所有请求和响应
• 报告AI的采用情况
• 监控AI产品的成本

网关通过作为AI的中央访问点，简化了这些数据的收集。

7. 性能优化与缓存机制

除了传统的API监控指标外，AI网关还应该监控消费应用使用网关的指标和网关对模型的使用情况。例如：可以监控模型的令牌消耗。

如果网关定期接近某一模型的最大每分钟令牌(TPM)配额，则需要警报，以便企业评估是否需要添加额外的部署。或者，如果某些模型的流量不多，可能是删除该模型并简化部署的机会。

8. 精准的负载均衡

可以配置语义缓存，以快速返回频繁提交给AI网关的提示的结果。语义缓存计算提供的提示与先前提示之间的相似度评分，如果相似度评分高于配置的阈值，则直接返回缓存的响应。以下是一个示例，语义缓存可以快速返回用户2的答案，提高性能并降低成本：

用户提示	语义缓存返回
用户1：2024年第一季度的销售额是多少？	-
用户2：给我2024年第一季度的销售额。	用户1的答案

尽管这些提示并不完全相同，但它们提出了相同的问题。语义缓存可以快速返回用户2的答案，从而提高性能并降低成本。

9. 灵活的访问控制

AI网关能够在多个模型部署之间进行负载均衡。负载均衡的好处包括：

• 提高弹性：如果某一模型部署不可用，网关可以路由到活跃的部署。
• 增加令牌容量：大多数云提供商限制您可用的每分钟令牌(TPM)。通过创建多个相同模型的部署，然后在这些部署之间进行负载均衡，可以增加系统的TPM。

尽管基本的负载均衡有明显的好处，AI网关还包括更智能的负载均衡，提供了可能性。

• 基于延迟的路由：如果某一模型响应时间过长，网关可以将请求路由到不同的模型部署或完全不同的模型。
• 基于意图的路由：您可能会发现某些模型在特定任务上表现优于其他模型。网关可以辅助意图路由，首先使用LLM推导用户提示的意图，然后将其路由到最适合该意图的模型。

10. 访问控制

AI网关让企业能够设置访问策略，以授予特定用户或应用程序对特定模型的访问权限。大多数应用程序不需要访问网关所展示的所有模型，因此限制访问仅限于必要模型是良好的做法。

此外，你还可以根据应用程序设置令牌和请求的速率限制，以确保没有应用程序使用超过其模型容量的份额。这些限制还可以针对成本进行设置，以防止应用程序积累大量云账单。

二、AI网关的挑战

1. 共享模型容量

当构建AI网关作为LLM的中央访问点时，其中一个挑战是如何让多个应用程序对同一共享模型池的使用。了解每个应用程序的预期令牌和请求使用情况对于确保网关具有足够的容量以满足需求至关重要。如前面所讲的，大多数网关允许你给应用程序实施速率限制，这是解决此问题的措施之一。然而，如果有任何程序有不可预测的流量模式，这就可能会造成限制了。

另一种缓解这种问题的选项是给业务关键应用配置专用的模型池。企业可以授予特定应用程序对特定模型池的访问权限，以确保业务关键应用程序的正常运行。

2. 成本管理与治理

如前所述，AI网关跟踪每个消费应用程序的成本。尽管这些数据很有用，但费用通常由负责AI网关团队承担。这就引出了一个常见挑战问题，即管理共享服务的云成本。如果需要向网关的消费者收取其LLM支出的部分费用，则需要一些集成工作以将数据返回到你的FinOps系统。

3. 安全措施的对齐与实施

尽管AI网关将支持对所有传入和传出数据应用安全措施，但确定应实施哪些安全措施可能具有挑战性。这需要网关实施团队、安全团队和业务领域专家之间的协作，以达成对检查和过滤内容的共识。

实施如PII检测等检查也可能具有挑战性。大多数网关将支持与外部工具的集成，以帮助进行PII/PCI检测，从而减轻复杂逻辑的负担。

三、AI网关的最佳实践

1. 实施

在实施AI网关时，建议遵循以下最佳实践范式：

• 从小处开始：首先识别和集成几个关键模型和应用程序。这将使您能够在小范围内测试和调整网关的功能，而不会影响整个组织。
• 迭代开发：根据反馈和使用情况不断改进和迭代网关。收集使用数据和用户反馈，定期进行更新和调整。
• 跨部门协作：确保安全、合规和开发团队之间的紧密合作，以便共同确定安全措施、监管要求和业务需求。

2. 性能监控

• 实时监控：利用实时监控工具来跟踪模型性能和系统负载。定期检查数据，以确保服务正常运行并快速响应潜在问题。
• 分析和优化：通过分析收集的数据来识别性能瓶颈和优化机会，定期进行系统评估以提升整体效率。

3. 安全与合规

• 持续审核：定期对AI网关的安全措施和合规性进行审核，确保其符合最新的政策和标准。
• 用户教育：对使用AI网关的用户进行安全和合规培训，提高他们的意识和理解，以确保所有用户都遵循相应的安全协议。

4.开源AI网关选择

APIPark 是一款开源的企业级AI网关，极大地简化了调用大型语言模型的过程，用户无需编写代码即可快速连接多种语言模型，并且在调用 AI 模型的过程中，能够有效保护企业的敏感数据和信息，从而使企业能够更快速且安全地使用 AI 技术。

目前，APIPark 上已经接入包括 OpenAI、Claude（Anthropic）、Gemini、文心一言、月之暗面以及通义千问等多个 LLMs（大型语言模型）。

此外，APIPark 还支持企业建立自己的API开放平台，通过审批流程控制API调用权限，并提供监控和分析工具，帮助企业跟踪API使用情况，确保安全合规地分享和使用AI模型。

四、写在最后

AI网关为组织提供了一个强大的工具，帮助简化和集中管理多种AI模型。通过实施AI网关，组织不仅可以提高安全性和合规性，还能实现性能优化和灵活的访问控制。尽管构建和维护AI网关面临一些挑战，但遵循最佳实践并通过迭代改进，你可以最大限度地发挥AI网关的潜力，为你的组织带来实际收益。通过APIPark 这类AI网关，企业组织将能够在AI应用的快速发展中，保持竞争优势，推动创新，并确保高效、安全地使用AI技术。