spark2.4.3用java代码执行做hadoop的查询,发现查询很慢,单条数据查询结果返回也要几十秒,这样的响应速度无法满足实际应用的要求,是否有其他大数据查询工具可以降低查询速度?或者有什么优化的方案?
目前是做离线数据仓库的,但是页面响应特别是明细数据的响应还是需要一定速度保障的。
spark2.4.3用java代码执行做hadoop的查询,发现查询很慢,单条数据查询结果返回也要几十秒,这样的响应速度无法满足实际应用的要求,是否有其他大数据查询工具可以降低查询速度?或者有什么优化的方案?
目前是做离线数据仓库的,但是页面响应特别是明细数据的响应还是需要一定速度保障的。
如果表很大,可以做分区,少查询一些数据;
如果数据不大,可以排查一下为什么慢,磁盘、网络、CPU 等,以及 Spark WebUI 看看 task 执行情况;