主要观点：机器学习模型并非孤立成功，需依赖稳健系统来验证、监测和解释其行为。顶级科技公司投资于可扩展的实验和 ML 平台。构建对机器学习的信任来自分层、系统的可观测性方法，本文探讨了值得信赖的 ML 实验的四个核心组件。
关键信息：

• 四个核心组件：仪器化（Instrument everything you can）、实时监测和异常检测（Anomaly Detection and Real-Time Monitoring）、影子测试和回放管道（Investigate With Shadow Testing and Replay Logs）、统计技术检测隐藏问题（Detect Hidden Issues With Statistical Techniques）。
• 仪器化：通过收集各级关键信号实现生产中的可见性，常见于行业，如 Netflix 和 Meta 的相关实践，最佳实践包括使用版本化、强类型模式等，扩展样本日志格式包含关键元数据。
• 实时监测和异常检测：通过实时监测和异常检测及时发现问题，如 Uber、LinkedIn 和 Meta 的相关系统及实践，最佳实践包括按用户段切片指标等。
• 影子测试和回放：影子测试通过运行实时生产流量比较预测，回放日志用于离线验证，如 Netflix 和 LinkedIn 的相关实践，最佳实践包括使用历史输入回放等。
• 统计技术检测隐藏问题：使用统计技术检测隐藏在特定用户段的问题，如 Microsoft 和 Booking.com 的相关实践，最佳实践包括多种统计技术及注意事项。
  重要细节：
• 各组件的具体示例和代码，如 Jensen-Shannon 发散检测特征漂移、SHAP 漂移跟踪模型对特征的依赖变化、影子测试和回放的生产设置图、Simpson 悖论和 SSRM 检查的示例代码等。
• 结论强调分层基础设施对可信 ML 的重要性，给出四个核心组件的实践 checklist，包括仪器化、监测、影子测试和统计严谨性等方面的具体内容。