用户对翻译类功能的耐心极限大概是 1 秒——超过就开始怀疑「是不是卡了」,3 秒基本就是流失线。这篇把「首字 300 毫秒」这个目标拆成可执行的性能预算,方法适用于任何流式生成类功能。
先画时间轴,再谈优化
一次翻译请求的时间构成(典型值):
- 网络往返(客户端→网关→模型):80~150ms
- 模型首 token 延迟:150~400ms(最大的变数)
- 首 token 后的渲染:20~50ms
优化前先埋点把这三段量出来——没有时间轴的优化都是猜。埋点放在:请求发出、网关收到、模型首包、首字上屏。四个点三条线,哪段超标治哪段。
模型侧:预算换体验的三个杠杆
输出长度预算。首屏只需要第一句话,不是整段。限制首次请求的 max_tokens(比如 64),首字更快返回,后续段落流式续上。翻译场景 64 个 token 足够覆盖「第一句完整显示」。
提示词瘦身。系统提示词每多 100 token,首 token 延迟增加 5~15ms(不同模型敏感度不同)。高频请求的提示词值得逐字抠:格式说明合并、示例从 3 个减到 1 个、历史窗口收紧。
路由分级。短句(<50 词)走轻量模型快返回,长段落走主力模型保质量。分级路由的判断逻辑在客户端做(本地正则即可),省一次往返。
前端侧:别把流当批处理
最常见的反模式:拿到完整响应再一次性渲染。流式响应应该边到边渲:每个 chunk 到达立即追加。注意两个细节:分词渲染不要整段重绘(增量 append);译文上屏的动画时长别超过 chunk 间隔(否则视觉上永远在追赶)。
另一个隐藏项:翻译进行中的页面交互要顺滑。原文区域加个轻微的加载态、滚动锁定好位置,用户感知的「快」有一半是这些细节给的。
一个反直觉的经验
压到 300ms 之后,继续压的边际收益急剧下降——用户已经感知不到 300ms 和 200ms 的区别。这时候预算应该花在稳定性上:p99 而不是 p50。1 次明显的卡顿对体验的伤害超过 100 次「快了 50ms」的改善。监控指标定 p99 首字延迟 < 800ms,比平均 300ms 更有工程意义。
结语
性能预算的本质是把「快」翻译成数字目标再分解到每一段。埋点画时间轴、首屏只求第一句、流式边到边渲、p99 兜底——这套组合拳打完,「卡」的抱怨会自然消失。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。