尾延迟可能比你想象的更重要

主要观点:尾延迟(高百分位延迟)指客户不常遇到的高延迟,现代架构中尾延迟更重要,通过简单数值实验说明并行调用和串行链中尾延迟的变化情况,以及应如何选择监控延迟统计量。
关键信息:

  • 尾延迟原因包括竞争、垃圾回收等。
  • 现代架构有很多组件,用户交互会转化为多个服务调用,形成并行扇出和串行链。
  • 简单数值实验中,服务响应 latency 为双模态分布,并行调用时 N 增大,等待慢调用的概率增加。
  • 串行链中服务链长度影响延迟分布形状,尾延迟会增加分布方差。
  • 选择监控延迟统计量时,无单一统计量能提供全貌,trimmed means 等渐受欢迎,但切掉右尾可能错过重要影响。
    重要细节:
  • 提到现代架构如微服务和 SoA 中用户交互与服务调用的关系。
  • 展示并行调用和串行链的视频实验结果。
  • 说明各种统计量的特点及选择时的注意事项。
阅读 14
0 条评论