Spark: memory.ExecutionMemoryPool 报内存释放失败警报

Question

跑一个 spark 程序时，从日志看到很多 task failed，从 executor 的日志看到多个 executor 报

WARN memory.ExecutionMemoryPool: Internal error: release called on 5242880 bytes but task only has 0 bytes of memory from the on-heap execution pool

的错误。

从 Spark 的源码看到这段警报来自于这里，在结束 task 释放内存时触发的，那么这种警报的出现原因是什么呢？既然是 warn 而不是 error，对运行结果有什么影响呢？

Answer 1

这个虽然是warning，但是说"0 bytes of memory"，说明已经没内存了，那你的jvm分分钟会OOM挂掉的。解决方法还是加内存，然后减少中间结果的缓存，或者部分缓存在磁盘中