Spark RDD学习: aggregate函数

2016-11-26
阅读 2 分钟
8.8k
aggregate函数首先对每个分区里面的元素进行聚合,然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个操作返回的类型不需要和RDD中元素类型一致,所以在使用 aggregate()时,需要提供我们期待的返回类型的初始值,然后通过一个函数把RDD中的元素累加起来??放入累加器?。考虑到每个节点是在本...