我想把RDD中的新数据追加到一个HDFS目录中
每次有新数据来都做这个操作
但是直接用RDD.saveAsTextFile会覆盖整个目录 旧的数据就不在了
因为我不能控制RDD.saveAsTextFile的输出文件名
所以不能通过取不同名字来分开保存
FileUtil.copyMerge也不行
首先它好像是根据文件名来覆盖的 但是我要根据内容来覆盖
其次hadoop3不再支持它了
如何做?
我想把RDD中的新数据追加到一个HDFS目录中
每次有新数据来都做这个操作
但是直接用RDD.saveAsTextFile会覆盖整个目录 旧的数据就不在了
因为我不能控制RDD.saveAsTextFile的输出文件名
所以不能通过取不同名字来分开保存
FileUtil.copyMerge也不行
首先它好像是根据文件名来覆盖的 但是我要根据内容来覆盖
其次hadoop3不再支持它了
如何做?
3 回答840 阅读✓ 已解决
7 回答1.9k 阅读✓ 已解决
3 回答874 阅读✓ 已解决
4 回答771 阅读✓ 已解决
4 回答1.5k 阅读✓ 已解决
4 回答1.1k 阅读
4 回答641 阅读