使用Spark-submit报错 ,如何解决?

新手上路,请多包涵

自己练习的一个java的SparkPi程序,已经尝试过在本地(local)跑成功了。现在想在公司的集群中跑一下。

我所做的步骤如下,如有错误,请您们多多指出:

  1. Eclipse中的项目SparkPi,右键export成一个SparkPiTest.jar文件。

  2. 这个项目中用到一个spark-assembly-1.5.1-hadoop1.2.1.jar依赖。将 SparkPiTest.jar 和 spark-assembly-1.5.1-hadoop1.2.1.jar移到了 master中 /root/spark-1.5.1-bin-hadoop1-scala2.11/bin 路径下。(这一步我不太确定,只需要把整个项目拷贝到master中,还是还需要把项目中的依赖包spark-assembly-1.5.1-hadoop1.2.1.jar也移动进去?但是不论我怎么操作,报错一直没变)

3.最后一步我在putty中操作,这一步也不太确定,怕某一行写错了,但是不论怎么改,报错一直没变。
在bin路径下:

./spark-submit\

--class org.apache.spark.examples.JavaSparkPi\
--master spark://192.168.0.208:7077\
--jars spark-assembly-1.5.1-hadoop1.2.1.jar\
--executor-memory 20G\
--total-executor-cores 1\
/root/spark-1.5.1-bin-hadoop1-scala2.11/bin/SparkPiTest.jar\

然后报错:Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output

我查了很多资料,通通没有解决。我不知道是配置原因,还是./spark-submit这个指令没有写对,总之一直没有头绪。求帮助!多谢大神指点!
更多0

阅读 9.5k
撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题