如何在 PySpark 中查找 DataFrame 的大小或形状？

Question

我试图找出 PySpark 中 DataFrame 的大小/形状。我没有看到可以做到这一点的单一功能。

在 Python 中，我可以这样做：

 data.shape()

PySpark 中是否有类似的功能？这是我目前的解决方案，但我正在寻找一个元素

row_number = data.count()
column_number = len(data.dtypes)

列数的计算并不理想…

原文由 Xi Liang 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您可以通过以下方式获得它的 shape ：

 print((df.count(), len(df.columns)))

原文由 George Fisher 发布，翻译遵循 CC BY-SA 4.0 许可协议