基线OpenAI端到端聊天参考架构

微软发布OpenAI端到端聊天参考架构

微软发布了OpenAI端到端聊天的基线参考架构，该架构涵盖了组件、流程和安全性等方面的信息，并提供了性能、监控和部署指南的详细信息。微软还准备了参考实现，以帮助用户部署和运行该解决方案。

架构组件与功能

该架构利用与“基线应用服务Web应用程序”相似的组件来托管聊天用户界面（UI），并优先考虑用于编排聊天流程、数据服务和访问大型语言模型（LLM）的组件。具体组件包括：

Azure Machine Learning：用于训练、部署和管理机器学习模型。
Azure Storage：存储提示流源文件。
Azure Container Registry：管理用于部署的容器镜像。
Azure OpenAI：提供对LLM和企业功能的访问。
Azure AI Search：支持聊天应用中的搜索功能，实现RAG模式以进行查询提取和检索。

网络安全与访问控制

该架构优先考虑网络安全和基于身份的访问控制，关键措施包括：

为聊天UI流量提供安全的入口点。
过滤网络流量，并为传输中的数据提供端到端的TLS加密。
使用Private Link最小化数据泄露风险。
逻辑分段和隔离网络资源，确保网络流的鲁棒性。

架构中，来自App Service托管的聊天UI的调用通过私有端点路由到Azure Machine Learning在线端点，然后进一步路由到运行部署流程的服务器。所有对Azure PaaS服务的调用都通过托管私有端点进行路由，以增加安全性。

身份与权限管理

该架构在网络和身份层面都建立了安全措施：

网络边界仅允许通过应用网关从互联网访问聊天UI。
身份边界确保请求的认证和授权。
对Azure Machine Learning工作区的访问通过默认角色（如数据科学家和计算操作员）以及专门的角色（如工作区秘密和注册表访问）进行管理。

部署策略

微软提供了一些部署建议和策略，包括蓝/绿部署和A/B测试，以改进发布和变更评估。

监控与日志记录

除Azure Machine Learning和Azure App Service外，所有服务均设置为捕获所有日志。Azure Machine Learning的诊断配置为专门捕获审计日志，记录客户与数据或服务设置的交互。Azure App Service的日志设置包括HTTP日志、控制台日志、应用日志和平台日志。

内容过滤与滥用监控

Azure OpenAI服务提供内容过滤功能，以检测和防止有害内容，包括滥用监控以检测违规行为，但可以为敏感数据或法律合规性请求豁免。

社区反馈

在LinkedIn上，用户对该架构的反馈普遍积极。用户Balz Zuerrer询问该解决方案是否可以在Azure AI Studio上构建，Tobias Kluge回应称，该蓝图适用于整个应用程序，包括敏感和用户相关数据的安全边界，而AI Studio主要用于模型测试和实验，不涉及如何在生产环境中安全构建和部署整个应用程序。