如何用scala追加HDFS中数据？

Question

我想把RDD中的新数据追加到一个HDFS目录中

每次有新数据来都做这个操作

但是直接用RDD.saveAsTextFile会覆盖整个目录 旧的数据就不在了

因为我不能控制RDD.saveAsTextFile的输出文件名

所以不能通过取不同名字来分开保存

FileUtil.copyMerge也不行

首先它好像是根据文件名来覆盖的 但是我要根据内容来覆盖

其次hadoop3不再支持它了

如何做？