主要观点：团队推出先进对话 AI 助手后收到用户反馈，如“机器人令人困惑”“没起作用”等，虽传统指标显示产品健康，但用户仍感沮丧，存在“黑箱”问题。传统软件失败明显，对话 AI 失败多为语义性，传统分析无法填补这一差距。可将可观测性视为产品超能力，其“三支柱”（日志、指标、追踪）能帮助产品经理解决问题。
关键信息：

• 团队推出对话 AI 助手，却收到负面反馈，传统指标正常但用户体验差。
• 传统软件失败易察觉，对话 AI 失败多语义性，传统分析无法满足需求。
• 可观测性的“三支柱”及其作用：指标提供总体概述，日志提供上下文，追踪揭示原因。
• 产品经理应能回答的三个问题及相关数据：产品是否真的帮助用户（任务完成率等）、能否看到用户投诉背后的故事（对话日志）、用户旅程在何处中断（追踪对话）。
• 采用可观测性思维的好处：精确优先级排序、促进有成效的对话、衡量 AI 的投资回报率。
  重要细节：
• 以旅行机器人为例，API 连接超时和返回错误信息与返回无关内容都是失败，传统指标无法区分。
• 对话日志需包含用户话语、NLU 解释、发送给 LLM 的提示、LLM 响应及使用的工具等。
• 追踪可跟随用户请求通过各微服务和 API 调用，可视化整个过程以确定故障点。
• 可观测性能让产品管理从凭经验到基于数据，精确解决问题，提升产品质量。
  进一步阅读资源：Charity Majors 的“Observability: A 3-Year Retrospective”等，从不同角度阐述可观测性原则及应用。