为何我的spark集群运行如此之慢?

新手上路,请多包涵

spark standalone集群相关配置如下:
图片描述

在该集群上跑计算pi的例子
运行:

./spark-submit --master spark://tdlabnode4:7077 --class org.apache.spark.examples.SparkPi --executor-memory 3g ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

控制台部分输出如下

图片描述

但是一直没有完成任务,在spark web上查看任务进度
图片描述

一直是这样

请问是我集群配置的问题吗?该从哪里下手解决问题。

求各位大牛指明一个解决的方向。

阅读 6.6k
1 个回答
✓ 已被采纳新手上路,请多包涵

已解决,我在32位的系统上开了3g内存

java -Xmx3072M -version

Executor一直报错

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进