如何用scala追加HDFS中数据?

勇敢的少年
  • 1k

我想把RDD中的新数据追加到一个HDFS目录中

每次有新数据来都做这个操作

但是直接用RDD.saveAsTextFile会覆盖整个目录 旧的数据就不在了

因为我不能控制RDD.saveAsTextFile的输出文件名

所以不能通过取不同名字来分开保存

FileUtil.copyMerge也不行

首先它好像是根据文件名来覆盖的 但是我要根据内容来覆盖

其次hadoop3不再支持它了

如何做?

回复
阅读 264
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
你知道吗?

宣传栏