Partitioner决定maptask输出的数据交由哪个reducetask处理
默认处理:分发的key的hash值与reduce task取模
是可以自定义自己的partitioner类的,如果是手机号当key, 186开始的一组,130开始的一组,其他的一组
if(phone.startwith("186") return 2;
elif(phone.startwith("130") return 1;
else return 0
在main里指定reducer的partition为自己自定义的那个即可
同时也要自定义numreducetask为3


SkinnyTracy
15 声望6 粉丝

引用和评论

0 条评论