1.在默认情况下(set mapreduce.job.reduces=-1),实际运行计算过程中reducer的数量会由所读取文件的大小来决定。文件默认大小是256M,即每256M对应一个reduce。比如当文件大小为1G时,会启用4个reducer处理数据;当文件大小为400M时,会启用2个reducer来处理。
2.在进行分区或者sort by 操作时,需要设置mapreduce.job.reduces的数量,此时实际启用的reducer的个数等于设置值。
3.1 在进行分桶操作的情况下,当 set mapreduce.job.reduces=-1或0时,此时实际启用rediucer的数量会等于桶的个数i。
3.2在进行分桶操作的情况下,当桶的个数是i时,并且0< set mapreduce.job.reduces<=i时,启用reducer的数量正好是i的因数。在i相邻的两个因数之间,启用reducer的个数是不变的。详见下表:
当i为偶数时:
当i为奇数时:
关键词:大数据培训
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。