Pyspark：以表格格式显示火花数据框

Question

我正在使用 pyspark 读取如下所示的镶木地板文件：

 my_df = sqlContext.read.parquet('hdfs://myPath/myDB.db/myTable/**')

然后当我执行 my_df.take(5) 时，它会显示 [Row(...)] ，而不是像我们使用 pandas 数据框时那样的表格格式。

是否可以像 pandas 数据框一样以表格格式显示数据框？谢谢！

原文由 Edamame 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

show 方法可以满足您的需求。

例如，给定以下 3 行数据框，我可以像这样只打印前两行：

 df = sqlContext.createDataFrame([("foo", 1), ("bar", 2), ("baz", 3)], ('k', 'v'))
df.show(n=2)

产生：

 +---+---+
|  k|  v|
+---+---+
|foo|  1|
|bar|  2|
+---+---+
only showing top 2 rows

原文由 eddies 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

正如@brent 在@maxymoo 的回答的评论中提到的，你可以试试

df.limit(10).toPandas()

在 Jupyter 中获得更漂亮的表格。但如果您不缓存 spark 数据帧，这可能需要一些时间才能运行。此外， .limit() 不会保留原始 spark 数据帧的顺序。

原文由 Louis Yang 发布，翻译遵循 CC BY-SA 4.0 许可协议