一个rdd是包含id和向量的列表
现在需要将其中的每一项分别和余下的项计算
也就是做一个余弦相似度运算
但是rdd又不能互相嵌套
比如:
vectorRDD.foreach(v1=>{
vectorRDD.foreach(v2=>{
println(cosDistance(v1._2,v2._2))
})
})
是不行的
如何做呢?
一个rdd是包含id和向量的列表
现在需要将其中的每一项分别和余下的项计算
也就是做一个余弦相似度运算
但是rdd又不能互相嵌套
比如:
vectorRDD.foreach(v1=>{
vectorRDD.foreach(v2=>{
println(cosDistance(v1._2,v2._2))
})
})
是不行的
如何做呢?
8 回答3k 阅读
2 回答5.3k 阅读✓ 已解决
5 回答1.6k 阅读
3 回答1.3k 阅读✓ 已解决
4 回答833 阅读✓ 已解决
1 回答928 阅读✓ 已解决
1 回答1.1k 阅读✓ 已解决
已解决:
先用
collect
把RDD
转为Array
再用
for
循环嵌套一下