spark 存文件 但是文件名由RDD中的内容决定 代码怎么写?

新手上路,请多包涵

从一个文件中读入内容作为rdd,希望将该文件的每一行都重新存为另一个文件,文件路径为由该行的第一个单词决定,请问该如何编程?

阅读 4.4k
2 个回答
新手上路,请多包涵
val fileRDD = sc.textFile(fileName)
fileRDD.foreachPartition(f => {
  f.foreach(line => {
    // 拆分一行数据,并写成文件
  })
})

好奇怪的需求,就是想利用,spark完成一个多板并发写文件么?
试了一下,类似楼上的回答,执行没有问题,但是使用本地IO,是不会有任何输出的。
没有试用hdfs会什么结果,maybe可能有输出

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进