Spark的DataFrame做Map操作时怎么返回超过22个字段

val originInfoDF = spark.sql("select col1, col2, col3, col4 from table_T")
val aggData = originInfoDF
                .groupBy("col1")
                .agg(collect_set(array("col2", "col3")), first("col4"))
                .toDF("c1", "c2", "c4")
                .map(line => {
                        val x = line.get... // 处理代码
                        //如果返回22个以内, 直接返回 (x, y, z)
                        //如果超过22个, 该怎么写来代替元组呢?
                })
阅读 5.6k
1 个回答

已解决
外站.

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏