spark standalone集群相关配置如下:
在该集群上跑计算pi的例子
运行:
./spark-submit --master spark://tdlabnode4:7077 --class org.apache.spark.examples.SparkPi --executor-memory 3g ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000
控制台部分输出如下
但是一直没有完成任务,在spark web上查看任务进度
一直是这样
请问是我集群配置的问题吗?该从哪里下手解决问题。
求各位大牛指明一个解决的方向。
已解决,我在32位的系统上开了3g内存
Executor一直报错