Spark 的 executor memory 不影响系统的执行效率

Question

我自己搭建了一个 Spark 开发测试环境。配置是 2 CPU，8G 内存，单机 standalone 模式部署。我运行了三次我的ALS程序（数据集每次都一样的），三次运行的 executor 内存大小均不同。但是三次运行的耗时都是一样的，有点想不通。为什么内存大了不会影响系统的执行效率。

Answer 1

内存足够用的情况下，再怎么增加executor的内存都不会加快执行速度，应该设置并行度