初始作业没有接受任何资源；检查您的集群 UI 以确保工作人员已注册并拥有足够的资源

Question

我正在尝试从 Eclipse 运行 spark 示例并得到这个一般错误： Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.

我的版本是 spark-1.6.2-bin-hadoop2.6. 我从 shell 使用 ./sbin/start-master.sh 命令启动 spark，并设置我的 sparkConf 像这样：

 SparkConf conf = new SparkConf().setAppName("Simple Application");
conf.setMaster("spark://My-Mac-mini.local:7077");

我不会在这里引入任何其他代码，因为我正在运行的任何示例都会弹出此错误。该机器是 Mac OSX，我很确定它有足够的资源来运行最简单的示例。

我错过了什么？

原文由 Eddy 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

该错误表明您的集群没有足够的资源用于当前作业。因为您还没有启动奴隶，即工人。集群将没有任何资源可分配给您的作业。启动奴隶将工作。

 `start-slave.sh <spark://master-ip:7077>`

原文由 Knight71 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

我遇到了同样的问题，是因为工人无法与司机沟通。

You need to set spark.driver.port (and open said port on your driver), spark.driver.host and spark.driver.bindAddress in your spark-submit from the driver.

原文由 Maxime Maillot 发布，翻译遵循 CC BY-SA 4.0 许可协议