Pyspark：如何将 spark 数据帧转换为 json 并将其保存为 json 文件？

Question

我正在尝试将我的 pyspark sql 数据帧转换为 json，然后另存为文件。

 df_final = df_final.union(join_df)

df_final 包含这样的值：

我试过这样的事情。但它创建了一个无效的 json。

 df_final.coalesce(1).write.format('json').save(data_output_file+"createjson.json", overwrite=True)

{"Variable":"Col1","Min":"20","Max":"30"}
{"Variable":"Col2","Min":"25,"Max":"40"}

我预期的文件应包含如下数据：

 [
{"Variable":"Col1",
"Min":"20",
"Max":"30"},
{"Variable":"Col2",
"Min":"25,
"Max":"40"}]

原文由 Shankar Panda 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

对于 pyspark 你可以直接将你的dataframe存储到json文件中，不需要将datafram转换成json。

 df_final.coalesce(1).write.format('json').save('/path/file_name.json')

而且你仍然想将你的数据帧转换为 json 然后你可以使用 df_final.toJSON() 。

原文由 Sahil Desai 发布，翻译遵循 CC BY-SA 4.0 许可协议