Spark运行的过程中产生RDD是如何记录下来的

在Spark的web ui中可以看到DAG图以及图中的RDD,这些RDD是如何被记录下来的?如下图:

clipboard.png

图中包含的HadoopRDD和MapPartitionsRDD是如何得到的?

阅读 2.3k
1 个回答

每一个蓝色框代表一个算子,算子内部可能产生中间RDD。这你看看Spark源码就知道了

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进