在Spark的web ui中可以看到DAG图以及图中的RDD,这些RDD是如何被记录下来的?如下图:
图中包含的HadoopRDD和MapPartitionsRDD是如何得到的?
每一个蓝色框代表一个算子,算子内部可能产生中间RDD。这你看看Spark源码就知道了
1 回答850 阅读✓ 已解决
1 回答725 阅读✓ 已解决
2 回答10.2k 阅读✓ 已解决
1 回答3k 阅读
3 回答3.4k 阅读
5.4k 阅读
1 回答3.7k 阅读
每一个蓝色框代表一个算子,算子内部可能产生中间RDD。这你看看Spark源码就知道了