适用范围
本文涉及到的配置项主要针对 Hadoop 2.x，Spark 2.x。
MapReduce
官方文档
https://hadoop.apache.org/doc...
左下角: mapred-default.xml
配置项举例
| name | value | description |
|---|---|---|
| mapreduce.job.reduce.slowstart.completedmaps | 0.05 | 当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源 |
| mapreduce.output.fileoutputformat.compress | false | MapReduce Job 的结果输出需要使用压缩 |
Spark
官方文档
https://spark.apache.org/docs...
最后有提到想要直接配置 Hadoop 项，在 Hadoop 配置项前加 spark.hadoop 即可。
Custom Hadoop/Hive Configuration
配置项示例
| Property Name | Default | Meaning |
|---|---|---|
| spark.dynamicAllocation.enabled | false | 是否动态分配内存（Spark 原生配置项） |
| spark.hadoop.mapreduce.output.fileoutputformat.compress | false | Job 的结果输出是否使用压缩（Hadoop MR 配置项） |
本文出自: walker snapshot
java
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。