有什么定时汇总数据, 并能实时查询的解决方案

Question

请问有哪些框架或者解决方案, 能够定时按不同维度, 如时间日月年. 区域层级县, 市, 省,全国, 这样一层层汇总计算数据. 之后可以实时查询的.

Answer 1

问这个问题想必是数据量比较大吧，可以将截止到前一天的数据（没有更改的数据）归档好，再将当天的数据实时计算，两者相加起来就是全量的数据了。
至于按日期和区域层级，可以按最小粒度的天来计算，月的数据再按天汇总，年的数据按月汇总，这样会减轻计算压力，也不会去重复计算原始数据

Answer 2

调研下flink看看呢

Answer 3

数据仓库+MapReduce。
更直白一点说就是hadoop

Answer 4

这个问题好像有点不符合逻辑，定时汇总的数据，只能汇总之后才能查，无法做到实时的查，如果要实时的查，只能实时的汇总，这样的话，产生的计算压力是很大。

如果要定时汇总数据可以使用Hadoop框架，如果需要实时的话，可以考虑flink。