spark的查询速度慢如何优化?

spark2.4.3用java代码执行做hadoop的查询,发现查询很慢,单条数据查询结果返回也要几十秒,这样的响应速度无法满足实际应用的要求,是否有其他大数据查询工具可以降低查询速度?或者有什么优化的方案?
目前是做离线数据仓库的,但是页面响应特别是明细数据的响应还是需要一定速度保障的。

阅读 1.5k
1 个回答

如果表很大,可以做分区,少查询一些数据;
如果数据不大,可以排查一下为什么慢,磁盘、网络、CPU 等,以及 Spark WebUI 看看 task 执行情况;

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进