Spark RDD中的partition的形成过程

一直搞不清楚spark中的RDD中划分出来的partition是在哪一步进行的,是HadoopRDD里面的
val inputSplits = inputFormat.getSplits(jobConf, minPartitions)过程形成了RDD里面的partition吗?

阅读 5.9k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进