Twitter 数据质量自动化平台的架构与开发

Twitter 工程团队最近分享了一篇博客，介绍了他们如何利用 Google Cloud Platform (GCP) 和开源软件架构并开发了一个数据质量自动化平台。

背景与需求

Twitter 每天处理和生成数千个数据集，用于不同的数据产品和应用。最近，他们迁移到了 GCP 并采用 BigQuery 作为其数据湖解决方案的一部分。在设计和管理这些海量数据的同时，确保数据质量成为了自然且重要的下一步。这些数据将用于 Twitter 的核心广告、产品分析和机器学习产品等。

对于如此大规模的数据集，自动化质量检查至关重要。这不仅提高了数据信心和决策质量，还帮助其他团队专注于解决业务问题而非修复数据。高质量的数据还能减少数据丢失的风险。

数据质量平台（DQP）

Twitter 创建了一个名为数据质量平台（DQP）的系统，该平台基于 GCP 服务和开源工具，如 Apache Airflow（编排平台）和 Great Expectations（数据质量平台）。

架构概述

DQP 的输入是 GCP 的 YAML 配置文件，触发 Airflow 作业以测试不同资源的频率和粒度。测试结果被发送到 PubSub 队列，随后 Dataflow 作业将数据集及其相关质量指标落地到正确的位置。

主要改进

博客中提到，DQP 的引入带来了三个主要改进：

1. 新处理功能推出时间减少 20%：通过 DQP 自动验证输出数据，加速了新功能的推出。
2. 提高广告数据交付信心：通过持续测量，提升了对交付给广告商的数据的信心。
3. 提供上下游数据集偏差的自动化可见性：在 DQP 之前，Twitter 无法自动化地查看上游和下游数据集之间的偏差。现在，DQP 为超过 400 个内部客户提供了核心服务印象数据集与下游数据集之间的对齐指标。

结论

数据质量自动化是确保高质量数据产品的关键。除了 GCP，其他云服务提供商如 AWS 也提供了数据质量自动化解决方案。此外，还有许多开源工具可以用于进一步的研究和学习。