洞察：OpenAI 全球宕机，企业应该如何应对 LLM 的不稳定性？

北京时间12月12日上午，OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机，ChatGPT、Sora及API受到影响。OpenAI 更新事故报告称，已查明宕机原因，正努力以最快速度恢复正常服务，并对宕机表示歉意。

此次 OpenAI 故障持续了 4小时10分钟，毕竟 ChatGPT 每周活跃用户超过 2.5 亿，严格来说，这是一场 P0 级的生产事故了。这一问题影响了包括 苹果 iOS 18.2 与 Siri 的集成功能，国内外各种依托 Open AI 的各种 AI 周边产品也是随之停摆半个小时。然而这已经不是 OpenAI 第一次出现故障了,自 OpenAI 的服务推出以来就经历了多次宕机事故 :

• 2023年3月20日：OpenAI的ChatGPT历史会话记录出现长时间无法显示的问题，原因是开源库中的一个重大漏洞。OpenAI发表声明表示已经恢复了所有用户的对话历史记录，并解决了潜在问题。
• 2023年11月7日至8日：OpenAI的ChatGPT和API服务经历了将近2小时的严重故障，被定义为“严重停机”（Major Outage）。故障时间从11月7日开始发现部分服务中断，并一直持续到11月8日凌晨。
• 2024年6月4日：OpenAI的ChatGPT（包括网站、App和桌面应用）出现系统故障，导致全球数百万用户无法正常使用，持续长达近8个小时。
• 2024年6月17日至18日：OpenAI的ChatGPT发生故障，美国和英国的移动端和网页版ChatGPT会时不时地无法应答用户的提问。OpenAI迅速确认问题，并在一定时间内解决了问题。
• 2024年12月5日：API与ChatGPT曾经历短暂性能下降问题，影响时间约为12月5日7:45至7:50（北京时间）。
• 2024年12月12日：OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机，ChatGPT、Sora及API受到影响。至当日9时50分，API和ChatGPT服务部分恢复，Sora仍处于瘫痪状态。

从基础设施角度来看，ChatGPT 已逐步成为类似传统云服务的关键组成部分，许多公司已经将 OpenAI 的 API 集成进日常业务也运营获得中，任何服务中断都可能影响到自动化和客户服务等核心功能，AI 的稳定性和可靠性问题越发不容忽视。

虽然故障持续时间较短，如果你的业务刚好就是将 AI 应用在股市、或者即时面试产品、更或者是医疗辅助类等业务的企业，关键业务非故障中断，对用户的印象和企业本身的品牌损害有时候是难以估量的。

对于依赖 AI 技术的各行业来说，如何在创新和稳定性之间找到平衡，势必是要考虑的问题。

同时接入多个大模型避免宕机导致业务中断

〇 为什么接入多款 AI 大模型？

相信很多企业都是仅仅接入一个 LLM，可能是处于对 LLM 的能力考虑，也有是成本考虑。然而在实际生产环境、业务环境过程中“用一个 LLM 就解决所有问题”的设计思路似乎已经难以满足实际需求。

比如：某企业借助 AI 做数字图书的业务。整个过程中，对 AI 的能力要求不仅仅是“文生图”，还有长文的理解能力，保证故事前后文连贯性。

这种情况下，可能需要接入多个模型去解决：A模型负责长文识别，B模型负责生图。另外，如果 A 或 B 模型刚好遇到 Open AI 一样的宕机问题，是否有个备用马上接替 A 模型？

APIPark开源 LLM 网关解决方案

LLM Gateway #Developer Portal 

APIPark 是一款高性能的企业级 LLM 网关，通过简化大模型的调用路径和统一 API 格式，有效降低企业调用大模型的门槛。 

截止目前，APIPark 已经对接多款市面上热门的 AI 大模型，并支持 AI Agent 的快速打通，并且提供 Prompt 与 AI 封装成 API 功能，可搭建自己专属的 API 开放门户，拥有丰富的 API 管理功能，特别适合需要自定义和多样化 AI 应用的团队。

随着企业对 AI 的使用越来越深入，应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案，来确保 AI 基础设施的高可用性、低延迟和无缝扩展。

APIPark 提供高效的负载均衡解决方案，优化了请求在多个大型语言模型实例之间的分配，确保在大型语言模型之间的无缝切换，减少业务因外部因素的影响。

比如: 企业的业务同时接入 OpenAI 和 Anthropic，Gemini 接口上的不同实例。当其中实例访问量大、或者 LLM 宕机、又或者 LLM 额度消耗尽未检测到等等导致的故障，则可以无缝切换到下一个备用的 AI 大模型。

未来，APIPark 还将扩展更多高价值功能，包括且不限于：

• 智能分流与速率限制：灵活配置不同业务场景下的流量分配策略，保障服务稳定性。
• 大模型调用 Token 配额：帮助企业精细化管理和优化 LLM 的调用成本，避免资源浪费。
• API 调用计费：提供透明、可视化的计费管理工具，为企业 API 商业化提供技术支、以及精细计算 LLM 调用成本。
• 语义缓存：通过智能缓存机制减少LLM的重复调用，降低延迟和成本，同时提高用户请求的响应速度。
• 更多功能即将到来...

APIPark 致力于通过不断迭代与创新为企业提供更加智能、更加精细化的 LLM 配套管理能力，帮助企业在 AI 时代抢占先机，从容应对复杂的业务需求，提升效率与竞争力。

如果您也对 APIPark 未来的功能感兴趣，并有意向参与我们项目的开源共建，请登录 APIPark Github 仓 给我们开源团队提出您宝贵的建议！另外，Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验！