基于事件的通信:Realtime API 通过 WebSocket 进行有状态的事件驱动交互,客户端和服务器之间通过发送和接收 JSON 格式的事件进行通信135;2)持久连接:WebSocket 协议使得 API 能够保持一个持续的双向连接,允许即时的数据流动,这对于实时对话和交互至关重要;3)多模态支持:该 API 不仅支持文本输入,还可以处理音频数据,提供更加丰富和自然的用户体验。可见:SSE 和 WebSocket 均能较好的支持大模型应用的实时性需求,前者更加轻量化,后者因为是双向通信在实时性要求更高的场景更有优势。这里我们通过一张表来比对下各个协议的特点。
总结来看:HTTP/1.1 适合传统网页和简单 API 请求,但性能较低。HTTP/2 适合现代高性能网页,解决了 HTTP/1.1 的队头阻塞问题,SSE 适合服务器主动推送实时数据的场景,如一问一答的大模型应用,WebSocket 适合需例如大模型实时辩论平台)。此外:WebRTC 也广泛应用于大模型应用场景,例如,当调用 Realtime API 时,OpenAI 官方推荐使用 WebSocket 或 WebRTC。6、实时通信协议的技术挑战和应对方案6.1 概述虽然 SSE 和 WebSocket 的特点,天然适合处理游戏、社交、大模型应用等有处理实时通信的场景。但是用户体量扩大后,依旧会遇到一些工程化上的技术挑战。如果把数据比作货物,HTTPS 是小型渡轮,适合短距离、少量的货物运输,SSE 和 WebSocket 则是大型货轮,适合长距离、大批量的货物运输。此时,网关是负责连接陆地和水域的中转大厅,控制船只的秩序和方向(路由、负载均衡),对货船进行安全检查(身份验证),还设置了应急和备用通道(流量管控、高可用保障)等。由于大型货轮不间断(长连接)的进入中转大厅,且单次访问数据量大、访问用户多,对扮演管理 SSE 和WebSocket 的连接建立和维护的网关,提出了更高的要求。以下罗列了具体的挑战和网关层的应对方案,方案部分仅供参考,工程上的问题没有唯一的答案,应结合业务和技术团队的实际情况,选择适合自己的方案。6.2 软件变更和服务扩缩容导致的稳定性风险
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。