主要观点：大数据不仅是收集更多信息，更要确保数据可信，2025 年对开发者和数据团队交付干净、可靠且合规数据的压力增大，质量是要求而非额外奖励，开发者和数据工程师需负责数据的全流程管理，有五个趋势在改变团队对数据质量和治理的看法。
关键信息：

• 五个趋势：实时数据验证、数据合同和所有权模型、可观测性驱动的数据质量、AI 增强的质量检查、隐私感知的大规模治理。
• 实时数据验证：直接在流管道中构建轻量级验证器，嵌入规则到流处理器，如 Apache Flink 等工具，早期发现问题可减少调试时间和生产惊喜。
• 数据合同和所有权模型：用数据合同明确团队间责任，如 OpenMetadata 等工具，使用 JSON Schema 等，发布数据期望和跟踪所有权。
• 可观测性驱动的数据质量：专注于使数据系统可监控，如 Monte Carlo 等工具，提前检测数据问题，如新鲜度、缺失值等。
• AI 增强的质量检查：利用机器学习检测传统规则遗漏的问题，如分布变化等，补充传统规则。
• 隐私感知的大规模治理：将隐私纳入系统，自动化敏感数据检测等，治理成为 CI/CD 管道的一部分。
  重要细节：
• 开发人员需负责数据的流动、验证、文档和治理。
• 不良数据集会影响下游的仪表盘、模型和合规性。
• 各种工具在不同趋势中的应用，如 dbt、Great Expectations 等。
• 数据质量和治理是现代软件构建的核心部分，跟上趋势可避免数据问题。