MapReduce 范式
什么是MapReduce
Map和Reduce源自于Functional Language
-
map是一种顺序且独立处理集合中每个元素的元函数 -
reduce是分批处理集合元素的元函数
Example : Word Count
我们以以下文档作为样例
Welcome Everyone
Hello Everyone
Map阶段
Map任务会对每个record产生一个键值对(key/value pair)。
例如，(Welcome, 1) 这意味着曾经遇到过Welcome这个词
这些record可以相互独立地处理。
在这个例子中只有一个Map任务，所以它按顺序处理这些record。
当数据量特别巨大时候，这个过程很容易被中断。
需要对输入数据集进行分片或拆分，分配给每个镜像或每个独立的Map任务, 并产生输出
Reduce
Reduce基于每个键合并、处理中间结果
每条记录会根据key的不同，被分配给不同的Reduce任务。通常会使用Hash paritioning算法来分配key。Reduce任务根据分配到的key并行地处理、合并中间值。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用@来通知其他用户。