用户对翻译类功能的耐心极限大概是 1 秒——超过就开始怀疑「是不是卡了」,3 秒基本就是流失线。这篇把「首字 300 毫秒」这个目标拆成可执行的性能预算,方法适用于任何流式生成类功能。

先画时间轴,再谈优化

一次翻译请求的时间构成(典型值):

  • 网络往返(客户端→网关→模型):80~150ms
  • 模型首 token 延迟:150~400ms(最大的变数)
  • 首 token 后的渲染:20~50ms

优化前先埋点把这三段量出来——没有时间轴的优化都是猜。埋点放在:请求发出、网关收到、模型首包、首字上屏。四个点三条线,哪段超标治哪段。

模型侧:预算换体验的三个杠杆

输出长度预算。首屏只需要第一句话,不是整段。限制首次请求的 max_tokens(比如 64),首字更快返回,后续段落流式续上。翻译场景 64 个 token 足够覆盖「第一句完整显示」。

提示词瘦身。系统提示词每多 100 token,首 token 延迟增加 5~15ms(不同模型敏感度不同)。高频请求的提示词值得逐字抠:格式说明合并、示例从 3 个减到 1 个、历史窗口收紧。

路由分级。短句(<50 词)走轻量模型快返回,长段落走主力模型保质量。分级路由的判断逻辑在客户端做(本地正则即可),省一次往返。

前端侧:别把流当批处理

最常见的反模式:拿到完整响应再一次性渲染。流式响应应该边到边渲:每个 chunk 到达立即追加。注意两个细节:分词渲染不要整段重绘(增量 append);译文上屏的动画时长别超过 chunk 间隔(否则视觉上永远在追赶)。

另一个隐藏项:翻译进行中的页面交互要顺滑。原文区域加个轻微的加载态、滚动锁定好位置,用户感知的「快」有一半是这些细节给的。

一个反直觉的经验

压到 300ms 之后,继续压的边际收益急剧下降——用户已经感知不到 300ms 和 200ms 的区别。这时候预算应该花在稳定性上:p99 而不是 p50。1 次明显的卡顿对体验的伤害超过 100 次「快了 50ms」的改善。监控指标定 p99 首字延迟 < 800ms,比平均 300ms 更有工程意义。

结语

性能预算的本质是把「快」翻译成数字目标再分解到每一段。埋点画时间轴、首屏只求第一句、流式边到边渲、p99 兜底——这套组合拳打完,「卡」的抱怨会自然消失。


码林拾遗
72 声望451 粉丝

天天读英文文档和文献的技术人,写翻译工程实践与英文阅读方法论。自己做了一个按量计费的翻译工具「随心翻译」:[链接]