scala一段代码看不懂,求解释!

clipboard.png

对scala不熟,这段计数求和的代码看不太懂

麻烦解释一下

最好是能写成python、java版本的

阅读 3.6k
3 个回答

这段代码是基于计算框架Spark的吧?
这段代码,我看出来两个问题:
1.逻辑有问题
2.数据量稍大,会爆掉内存

求count和sum的过程可以改成这样:

val count = a.count
val sum = a.reduce(_ + _)

完全没有scala的味道,这就是用scala语言,java思想写出来的

1,2,3,4,5 => (1,1),(2,3),(3,6),(4,10),(5,15)
看的懂没?
没懂的话,麻烦先看3个月的 scala 语法

后面半截是 spark 的东西,你得先明白 mapPariritions 函数,它的参数是一个函数,这个函数作用于每个分区整体,而不是像 map 作用于每个分区的每个 record

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进