一个大数据业务场景问题

Question

mysql某张日志表有一亿多条数据，每天大概三四百万的数据增量，现在要对这张表进行数据统计。在不受限于任何方向的技术方案的情况下进行技术改造，用啥技术能最大提高分析的性能，实时性差异不能超过10分钟

Answer 1

对于现有日志数据，建议将据从mysql同步到Elasticsearch，通过Elasticsearch查询聚合等操作来进行分析，也可以通过kibana来操作Elasticsearch。
对于以后新产生的日志数据，建议通过 Filebeat + Logstash + Elasticsearch，直接同步到Elasticsearch，然后进行分析。
推荐文章： https://www.ibm.com/developer...

Answer 2

什么样的数据统计？这样的数据统计是可以“积累”的吗？
可以考虑使用“Lambda架构”架构，使用批处理处理历史数据的基础上使用流处理对实时数据进行统计。