数据中台这个词出现的概率非常高,对于一个企业来讲,那么数据中台是什么呢?数据中台就是把数据从各个系统 用数据库对接、API对接、或者文件上传的形式把数据收集起来,整合加工,最后生成分析的结果,这个结果可能是数据本身、也可能是API,也可能是分析的图表、报表,甚至是展示的大屏等。
那么如何利用现有的开源组件攒一个比较经济实惠的 数据中台呢? 那么接下来可以看看下面这个方案。
1、首先利用标准的对数据操作接入的ORM框架来做链接,我们称为多数据源,我们选择的就是JDBC,当然如果要接入excel等数据来源还需要有些小小的开发工作量
图片
当然数据源一个基础的特点就是要能逐步支持多数据源:
图片
2、要构建从多个不同的数据源抽取数据到中央数仓,我们采用百度的doris+阿里的dataX的方案来构建这个数仓,这里有很多方案有些不同, 有些方案是把抽取独立做的,我们是把 抽取+加工合并构建的,在数据加工的第一个步骤去实现的抽取的过程
图片
可以设置抽取加工执行的周期:
图片
在设计数据加工的过程中,通过算子的拼接实现业务加工过程的构建:
图片
最后加工整理后,输出的结果是支持手动执行和自动执行的
图片
输出的结果可以用于多个场景,从具体的数据血缘视图中可以看出
图片
3、用echarts 构建配置化的图表,图表就要做成配置化的,让用户更简单使用,简单拖拽,关联数据加工后的中间结果
图片
从配置数据,然后拖拽维度、指标、设置排序等操作,然后做了各种样式的配置功能。
用lucksheet 做了一个可视化的统计报表的功能,如下图所示:
图片
配置的方式和图表方式一样,只是渲染数据通过lucksheet实现的:
图片
当然我们还做了一个可视化的大屏配置器,和图表不一样,大屏支持多画布,多页面,可以配置更加复杂,更加精细化
图片
在线demo:https://bi.bctools.cn
gitee地址:https://gitee.com/software-minister/jvs-bi


软件部长
43 声望6 粉丝

软件研发行业老司机,提供些踩坑的经验而已