qbit
  • 126

Spark 内存相关(qbit)

 约 3 分钟

前言

  • 本文对 spark 2.1.x 适用

executor 内存模型

堆内内存与堆外内存

堆内内存与堆外内存

堆内内存

堆内内存

堆外内存

堆外内存

动态资源分配

  • 基本参数设置
# 配置 external shuffle service 服务(一定要配置启用)
spark.shuffle.service.enabled = true
spark.shuffle.service.por = 7337
# 启用动态资源调度
spark.dynamicAllocation.enabled = true
# 每个应用中最少 executor 的个数
spark.dynamicAllocation.minExecutors = 1
# 每个应用中最多 executor 的个数
spark.dynamicAllocation.maxExecutors = 8
# 每个应用中初始 executor 的个数,会被 spark.executor.instances 覆盖
spark.dynamicAllocation.initialExecutors = 2

相关链接

本文出自 qbit sanp
阅读 135

推荐阅读
qbit snap
用户专栏

开箱即用,拿走不谢。

202 人关注
95 篇文章
专栏主页
目录