Spark 的 executor memory 不影响系统的执行效率

smith
  • 745

我自己搭建了一个 Spark 开发测试环境。配置是 2 CPU,8G 内存,单机 standalone 模式部署。我运行了三次我的ALS程序(数据集每次都一样的),三次运行的 executor 内存大小均不同。但是三次运行的耗时都是一样的,有点想不通。为什么内存大了不会影响系统的执行效率。

回复
阅读 978
1 个回答
卡卡
  • 2
新手上路,请多包涵

内存足够用的情况下,再怎么增加executor的内存都不会加快执行速度,应该设置并行度

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏