在Spark的web ui中可以看到DAG图以及图中的RDD,这些RDD是如何被记录下来的?如下图:
图中包含的HadoopRDD和MapPartitionsRDD是如何得到的?
每一个蓝色框代表一个算子,算子内部可能产生中间RDD。这你看看Spark源码就知道了
1 回答666 阅读✓ 已解决
1 回答558 阅读✓ 已解决
2 回答10.1k 阅读✓ 已解决
1 回答3k 阅读
3 回答3.3k 阅读
5.4k 阅读
1 回答3.6k 阅读
每一个蓝色框代表一个算子,算子内部可能产生中间RDD。这你看看Spark源码就知道了