熊猫将数据框写入带有附加的镶木地板格式

Question

我正在尝试将 pandas dataframe 写入 parquet 文件格式（在最新的 pandas 版本 0.21.0 中引入） append 模式但是，该文件不会附加到现有文件，而是会被新数据覆盖。我错过了什么？

写语法是

df.to_parquet(path, mode='append')

读取语法是

pd.read_parquet(path)

原文由 Siraj S. 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

要追加，请执行以下操作：

 import pandas as pd
import pyarrow.parquet as pq
import pyarrow as pa

dataframe = pd.read_csv('content.csv')
output = "/Users/myTable.parquet"

# Create a parquet table from your dataframe
table = pa.Table.from_pandas(dataframe)

# Write direct to your parquet file
pq.write_to_dataset(table , root_path=output)

这将自动附加到您的表中。

原文由 Victor Faro 发布，翻译遵循 CC BY-SA 4.0 许可协议