scala中RDD如何两两计算?

勇敢的少年
  • 1k

一个rdd是包含id和向量的列表
现在需要将其中的每一项分别和余下的项计算
也就是做一个余弦相似度运算

但是rdd又不能互相嵌套
比如:

 vectorRDD.foreach(v1=>{
        vectorRDD.foreach(v2=>{
          println(cosDistance(v1._2,v2._2))
        })
      })

是不行的

如何做呢?

回复
阅读 977
1 个回答

已解决:
先用collectRDD转为Array
再用for循环嵌套一下

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏