如何基于日志,同步实现数据的一致性和实时抽取?

2019-07-17
阅读 9 分钟
3.3k
一、背景 事情是从公司前段时间的需求说起,大家知道宜信是一家金融科技公司,我们的很多数据与标准互联网企业不同,大致来说就是: 玩数据的人都知道数据是非常有价值的,然后这些数据是保存在各个系统的数据库中,如何让需要数据的使用方得到一致性、实时的数据呢? 过去的通用做法有几种,分别是: DBA开放各个系统的...

大数据总线平台DBus设计思路与工作原理

2019-07-17
阅读 3 分钟
3.2k
一、背景 企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的方法有很多种,比如: 各个数据使用方在业务低峰期各种抽取所需数据(缺点是存在重复抽取而且数据不一致) 由统一的数仓平台通过sqoop到各个系统中抽取数据(缺点是sqoop抽取方法时效性差,一般都是T+1的时效性) 基于trigger或时间戳的方...