如何将数据附加到现有的镶木地板文件

Question

我正在使用以下代码创建 ParquetWriter 并将记录写入其中。

 ParquetWriter<GenericRecord> parquetWriter = new ParquetWriter(path, writeSupport, CompressionCodecName.SNAPPY, BLOCK_SIZE, PAGE_SIZE);

final GenericRecord record = new GenericData.Record(avroSchema);

---

 parquetWriter.write(record);

但它只允许创建新文件（在指定路径）。有没有办法将数据附加到现有的镶木地板文件（在路径中）？在我的情况下缓存 parquetWriter 是不可行的。

原文由 Krishas 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

有一个名为 append 的 Spark API SaveMode： https ://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/SaveMode.html 我相信它可以解决您的问题。

使用示例：

 df.write.mode('append').parquet('parquet_data_file')

原文由 bluszcz 发布，翻译遵循 CC BY-SA 3.0 许可协议