主要观点：数据质量已从检查点转变为运营需求，在云原生数据仓库和实时管道复杂性增加的情况下，数据工程师面临如何在不降低 ETL 工作流速度的情况下实施质量检查的问题，传统方法已不足够，需采用适应变化的自动化验证和异常检测。
关键信息：

• 过去数据质量在 ETL 管道末端验证，在现代云环境中这种被动控制存在问题，如全球电商平台在高流量活动中因上游系统架构漂移导致数据问题未被实时发现。
• 现代 ETL 管道需要主动系统，将验证逻辑嵌入数据编排层，如在每个转换步骤进行列级分析等，促进“快速失败”理念。
• 云原生工具支持嵌入测试，如 Shopify 在 Airflow DAG 中定义断言，确保语义行为，统计异常检测作为第二层防御，如 Intuit 利用其分析 ETL 中的异常。
• 通过将检测集成到观测系统中形成闭环，如 Spotify 将自动标记的警报集成到事件响应工具中，提升数据质量。
  重要细节：
• 传统的事后验证在静态批处理数据生态系统中效果较好，但在现代云环境中存在延迟和运营风险。
• 主动验证能在数据结构和业务逻辑方面进行验证，防止有问题的数据污染下游系统。
• 云原生工具如 Apache Airflow、dbt Cloud 等可支持嵌入测试，将验证逻辑嵌入管道步骤。
• 统计异常检测可通过分析历史分布模式发现异常，如 Anomalo 和 Monte Carlo 自动构建历史基线。
• 集成检测到的系统能帮助工程师快速定位受影响的表等，提升数据质量，数据质量是决策完整性的基础。