spark1.2.0在yarn-client模式下找不到spark-assembly-1.2.0-hadoop2.2.0.jar

Question

下载的spark 1.2.0源码，使用命令

mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

编译，运行spark-shell时正常。但是在运行spark-shell --master yarn-client时会报错误：

diagnostics: Application application_1420611218803_0002 failed 2 times due to AM Container for appattempt_1420611218803_0002_000002 exited with  exitCode: -1000 due to: java.io.FileNotFoundException: File file:/home/hadoop/Applications/spark-1.2.0/assembly/target/scala-2.10/spark-assembly-1.2.0-hadoop2.2.0.jar does not exist
.Failing this attempt.. Failing the application.

我查了一下该文件，的确存在且目录正确。
我的spark-env.sh文件只设置了HADOOP_CONF_DIR变量。以前安装过spark 1.1.0且也是只设置了该变量，集群运行正常。
我试着添加SPARK_JAR等参数，没有效果。
请问可能是哪些地方出现了问题？

Answer 1

好吧，是我粗心了。
就是HADOOP_CONF_DIR路径设置错误。Hadoop程序放在了/home/hadoop/Applications/...下，路径设置为$HOME/hadoop/Applications/...，关键是我的$HOME=/home/hadoop。问题就在这。

这几天这个问题没少折腾，刚刚又把spark重新编译了一遍，花了我一个多小时。这再次提醒我，细心很重要。

Answer 2

1、下载spark代码的时候直接下载预编译版本的，如下：
在下拉匡中选择一个预编译版本。

2、下载source code以后，再编译

具体方法你可以再百度下