如何重新分区 pyspark 数据框?

新手上路,请多包涵
data.rdd.getNumPartitions() # output 2456

然后我做

data.rdd.repartition(3000) 但是

data.rdd.getNumPartitions() # 输出仍然是2456

如何更改分区数。一种方法是先将 DF 转换为 rdd,重新分区,然后将 rdd 转换回 DF。但这需要很多时间。分区数量的增加是否也会使操作更加分散且速度更快?谢谢

原文由 Neo 发布,翻译遵循 CC BY-SA 4.0 许可协议

阅读 436
2 个回答

您可以检查分区数:

 data.rdd.partitions.size

要更改分区数:

 newDF = data.repartition(3000)

您可以检查分区数:

 newDF.rdd.partitions.size

重新分区时要小心数据混洗,这很昂贵。如果需要,请查看 coalesce

原文由 Michel Lemay 发布,翻译遵循 CC BY-SA 3.0 许可协议

print df.rdd.getNumPartitions()
# 1

df.repartition(5)
print df.rdd.getNumPartitions()
# 1

df = df.repartition(5)
print df.rdd.getNumPartitions()
# 5

请参阅 Spark:权威指南第 5 章 - 基本结构操作

ISBN-13:978-1491912218

ISBN-10: 1491912219

原文由 Ali Payne 发布,翻译遵循 CC BY-SA 4.0 许可协议

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题