在数字化转型的浪潮下,银行业对数据的依赖日益加深。为提升数据管理和应用水平,西南某城商行于2022年启动了数据中台建设,采用创新技术手段优化其数据服务体系。

本文将深入探讨该行如何借助Whalestudio平台构建数据中台,以及在实际应用中取得的显著成效。

从需求到选择:数据中台系统的选型过程

该银行在数据中台建设过程中,调度和数据抽取平台的选型至关重要。

经过多轮评估和比对,西南某城商行最终选择了Whalestudio作为统一调度和数据抽取平台,主要考虑以下关键因素:

  • 技术架构:采用分布式架构,具有良好的扩展性,并兼容国产基础软件,符合信创的技术要求。
  • 平台化特性:调度和数据抽取平台均支持统一管理和API调用,便于集中管理和数据调用。
  • 租户管理:支持租户化管理,实现项目与用户的分层隔离,确保不同租户间的数据安全。
  • 多样化支持:调度系统支持灵活的时间调度和任务编排,数据抽取支持多数据源实时和离线抽取,具备数据清洗和字段映射功能。

Whalestudio在数据服务体系中的应用

西南某城商行依托Whalestudio构建了涵盖数据开发、数据服务、数据应用和敏捷交付的完整数据服务体系,具体应用如下:

数据开发集成

通过Whalestudio的白鲸调度系统(Whalescheduler),实现了多任务支持、数据抽取、清洗、建模和质量检测等流程的自动化管理,使数据全生命周期管理更加平台化和集成化。

数据服务集成

在数据服务方面,西南某城商行整合了行内的数据交换需求和数据治理体系,通过白鲸数据集成系统(WhaleTunnel)的数据传输和清洗功能,建立了行内数据市场。

该数据市场显著降低了业务系统间的数据交互复杂性,提高了数据交换效率。

数据类应用

基于Whalestudio平台的能力,西南某城商行在数据脱敏平台上进行了二次开发,将数据脱敏、标准化、分级管理与脱敏算法深度融合,以确保数据的安全性和合规性,进一步提升了数据的应用价值。

敏捷交付体系

Whalestudio与GitLab的无缝集成,使得该行能够实现调度任务的版本控制、审批和自动化部署,显著缩短了数据接入和任务创建时间,从而帮助银行快速响应业务需求变化。

未来建设方向

西南某城商行的数据中台建设已取得初步成效,但为进一步提升平台能力和业务支持,该行计划在以下几方面持续优化:

数据治理体系全面落地

推动数据治理体系全面落实,实现数据开发、数据交换和数据应用的闭环管理。

敏捷交付体系深化

在数据库DDL变更、环境隔离等环节实现自动化,最终达到从测试到生产环境的全自动发布。

完善监控体系

构建更全面的监控和告警系统,涵盖调度任务、数据质量等多类指标,支持任务分级管理。

结语

在Whalestudio的支持下,西南某城商行显著提升了数据开发和交付效率,加速了数字化转型步伐。

未来,西南某城商行将继续优化数据中台的能力,为业务创新和持续发展提供强大支持。

本文由 白鲸开源科技 提供发布支持!

海豚调度
84 声望20 粉丝

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。