一个rdd是包含id和向量的列表
现在需要将其中的每一项分别和余下的项计算
也就是做一个余弦相似度运算
但是rdd又不能互相嵌套
比如:
vectorRDD.foreach(v1=>{
vectorRDD.foreach(v2=>{
println(cosDistance(v1._2,v2._2))
})
})
是不行的
如何做呢?
一个rdd是包含id和向量的列表
现在需要将其中的每一项分别和余下的项计算
也就是做一个余弦相似度运算
但是rdd又不能互相嵌套
比如:
vectorRDD.foreach(v1=>{
vectorRDD.foreach(v2=>{
println(cosDistance(v1._2,v2._2))
})
})
是不行的
如何做呢?
8 回答2.6k 阅读
2 回答5.1k 阅读✓ 已解决
5 回答848 阅读
3 回答2.2k 阅读
4 回答697 阅读✓ 已解决
2 回答2.1k 阅读
1 回答774 阅读✓ 已解决
已解决:
先用
collect
把RDD
转为Array
再用
for
循环嵌套一下