这段代码是基于计算框架Spark的吧?这段代码,我看出来两个问题:1.逻辑有问题2.数据量稍大,会爆掉内存 求count和sum的过程可以改成这样: val count = a.count val sum = a.reduce(_ + _)
1,2,3,4,5 => (1,1),(2,3),(3,6),(4,10),(5,15)看的懂没?没懂的话,麻烦先看3个月的 scala 语法 后面半截是 spark 的东西,你得先明白 mapPariritions 函数,它的参数是一个函数,这个函数作用于每个分区整体,而不是像 map 作用于每个分区的每个 record
这段代码是基于计算框架Spark的吧?
这段代码,我看出来两个问题:
1.逻辑有问题
2.数据量稍大,会爆掉内存
求count和sum的过程可以改成这样: