在 Spark中为什么task不是按照顺序执行

smith
  • 745

我在 spark-shell 下面运行一个最简单的 wordcount 程序,

val text = spark.read.textFile("/datasets/wordcount_512m.txt")
text.flatMap(line => line.split(" ")).groupByKey(identity).count().collect()

我的 hdfs 块大小为 128 MB,配置是 2 个 executor,每个 executor 2个核,也就是说这个任务会有4个partition。然后我看 Spark 的UI面板,在 stage 0 阶段是正常的,有4个task同时执行。
image.png
但是在 stage 1 阶段,我发现有些 task id 更大的任务会先执行,这是为什么。
image.png
image.png
就比如上面两张图,task id 为91的执行先于task id 为0执行,这是为什么。

这些提早执行的 task id 又是干什么的?

回复
阅读 855
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏