spark-submit 命令行参数学习

nizaikanwome

配置参数

spark.driver.maxResultSize 在yarn模式下spark的 executor 执行完action以后需要将结果数据传回给driver节点,参数限制了单个executor 可以的最大结果大小,这样是为了保证driver的安全,防止因为数据量过大导致的driver端的oom问题,默认值为1G,最小值为1M,如果设置参数为0的话,即对文件不做任何限制。

spark.deault.parallelism 设置每个stage上默认的task的数量,如果不设置的话默认的是根据hdfs的block数量来拆分任务。并行度过高task数量就会过多,task的启动和切换开销会变大。并行度设置的过低,task数量减少,集群资源有可能浪费,task执行的时间会边长,同时还可能有oom的风险。一般情况下设置该参数为num-executors * executor-cores的2~3倍较为合适

spark.debug.maxToStringFields spark对要读取的表的字段个数有限制,当表的字段个数大于25的时候任务会报错,通过这个设置可以将报错字段的阈值提高。

spark.sql.warehouse.dir 指定的是spark读写hive时候数据的存放位置。

org.apache.spark.serializer.KryoSerializer 设置spark的序列化方式, org.apache.spark.serializer.KryoSerializer 序列化速度快、占用空间小,在任务需要大量的shuffle的时候可以提升效率,同时也会改变数据写到磁盘的数据格式。

spark.sql.hive.convertMetastoreOrc spark读取ORC格式的文件的时候需要加上这个配置。

[参考]https://mp.weixin.qq.com/s/7R...

阅读 1.1k
7 声望
0 粉丝
0 条评论
7 声望
0 粉丝
文章目录
宣传栏