主要观点：数据质量问题不自我宣告，会 silently 累积，2023 年 Gartner 研究指出每年每个组织成本达 1290 万美元，传统方法将验证作为后处理步骤有根本差距，Delta Expectations 可将验证窗口压缩至零，改变了数据验证游戏规则，其通过在写入事务中执行验证，从 reactive 数据质量转变为 proactive 数据合同。

关键信息：

• 传统 ETL 验证序列及后果，如存储污染、下游传播、级联失败等。
• Delta Expectations 嵌入写入路径，在 Spark 执行时进行验证，有 FAIL、DROP、WARN 模式。
• 实现模式包括分层验证与隔离、流式水印和延迟数据、跨表验证和参照完整性等。
• 性能考虑因素如谓词复杂度、记录量、执行模式等及优化策略。
• 与其他工具的集成如 Airflow、Metrics Export、Unity Catalog 等。
• 不适用场景如非 DLT 管道、复杂统计验证等。
• 替代方法及各自优缺点。
• 生产准备清单包含测试、监控、治理、运营等方面。
• 未来发展方向如自动生成期望、合同版本控制等。

重要细节：

• 传统 ETL 验证序列为 Extract → Transform → Load → Validate → (Quarantine/Repair)，存在诸多问题。
• Delta Expectations 利用 Spark 懒评估和 Delta 原子性保证，在写入事务前执行验证逻辑。
• 分层验证模式中 Bronze 保留原始数据，Silver 进行严格验证，Quarantine 捕获失败记录。
• 流式水印在处理延迟数据时，先通过水印过滤，再进行期望验证。
• 跨表验证可使用 join，但大维度表时性能可能不佳。
• 性能方面，不同模式开销不同，可通过优化策略降低开销。
• 与其他工具集成可实现更好的 orchestration 和 observability。
• 不适用场景需根据实际情况判断。
• 替代方法各有特点，需根据需求选择。
• 生产准备清单涵盖多个方面，确保系统稳定可靠。
• 未来发展将使数据合同更加自动化和全面。