spark datafram 分组后选取每组某个属性值最小的行

df.select('orderid','roomid','probability')

probability是一个DenseVector
按orderid分组后选取probability[0]值最小的行
如何做到啊?

阅读 3.4k
1 个回答

df.registerTempTable("df")
spark.sql("select * from df where probability in (select min(probability) from df group by orderid")

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题