qbit
  • 149

Hadoop MapReduce Spark 配置项

适用范围

本文涉及到的配置项主要针对 Hadoop 2.x,Spark 2.x。

MapReduce

官方文档

https://hadoop.apache.org/doc...
左下角: mapred-default.xml

clipboard.png

配置项举例

name value description
mapreduce.job.reduce.slowstart.completedmaps 0.05 当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源
mapreduce.output.fileoutputformat.compress false MapReduce Job 的结果输出需要使用压缩

Spark

官方文档

https://spark.apache.org/docs...
最后有提到想要直接配置 Hadoop 项,在 Hadoop 配置项前加 spark.hadoop 即可。
Custom Hadoop/Hive Configuration

clipboard.png

配置项示例

Property Name Default Meaning
spark.dynamicAllocation.enabled false 是否动态分配内存(Spark 原生配置项)
spark.hadoop.mapreduce.output.fileoutputformat.compress false Job 的结果输出是否使用压缩(Hadoop MR 配置项)
本文出自: walker snapshot
阅读 627

推荐阅读
qbit snap
用户专栏

开箱即用,拿走不谢。

206 人关注
106 篇文章
专栏主页