start-all 方式启动 spark 集群,没有出现 Master进程?

  1. 最开始启动了 spark,hdfs,yarn 成功,但是长时间后,发现无法正常提交 spark任务了,老是出现类似于如下错误。"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
  2. 然后我想停止 spark 等,但是发现无法 stop。
  3. 参照网上的方法重新建立 SPARK_PID_DIR 目录,并设置了 spark-env、hadoop-env和yarn-env 文件中的 PID_DIR,发现还是不可以。
  4. 然后直接杀掉了所有 jps 后出现的进程。
  5. 再次启动 hdfs、yarn成功,但是启动 spark后,对应的 SPARK_PID_DIR 路径下出现了spark-wangyichao-org.apache.spark.deploy.worker.Worker-1.pid 和 spark-wangyichao-org.apache.spark.deploy.master.Master-1.pid 文件,但是jps后没有出现 Master进程。
  6. 运行spark任务,依旧出现"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
  7. 不知该咋整了,小弟新手,求指教
阅读 6.8k
1 个回答

最开始启动了 spark,hdfs,yarn 成功

lz究竟是Spark集群还是Spark on yarn?

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
宣传栏