0

mysql某张日志表有一亿多条数据,每天大概三四百万的数据增量,现在要对这张表进行数据统计。在不受限于任何方向的技术方案的情况下进行技术改造,用啥技术能最大提高分析的性能,实时性差异不能超过10分钟

3月3日提问

查看全部 2 个回答

2

对于现有日志数据,建议将据从mysql同步到Elasticsearch,通过Elasticsearch查询聚合等操作来进行分析,也可以通过kibana来操作Elasticsearch。
对于以后新产生的日志数据,建议通过 Filebeat + Logstash + Elasticsearch,直接同步到Elasticsearch,然后进行分析。
推荐文章: https://www.ibm.com/developer...

推广链接