Spark目录下没有lib目录,-bash: sbt/sbt: Permission denied

1、想要解决的问题:

Spark目录下没有lib目录。

2、一句话描述:

Spark目录下没有lib目录, 于是我使用“sbt/sbt assembly”命令打包,但是mac终端提示-bash: sbt/sbt: Permission denied

3、详细情况:

在用Intellij创建Scala项目时,我参考的《Spark开发环境配置及流程》提到:

选择菜单中的“File”→“project structure”→“Libraries”,然后点击“+”导入spark-assembly-1.2.0-hadoop2.4.0.jar。
这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本是预编译版本的(见《Spark on yarn搭建过程》 ),所以这个包可以在解压的Spark目录下lib目录里找到,假如说下载的没有编译的,需要通过sbt/sbt assembly命令打包。

于是我在spark源代码目录spark-1.6.0运行了sbt/sbt assembly命令,如下图所示:
clipboard.png
但是mac终端提示-bash: sbt/sbt: Permission denied

4、备注

使用的系统:最新版的mac系统

5、需要解决的关键问题:

Spark目录下没有lib目录。

阅读 6.4k
3 个回答

可能下载的源码有问题,重新下载再编译,或者下载预编译版本(里面有jar包)。
还有可能是sbt本身没有安装好。

1、下载spark代码的时候直接下载预编译版本的,如下:
在下拉匡中选择一个预编译版本。
clipboard.png

2、下载source code以后,再编译

下载pre build后不需要任何编译,直接去找到 bin目录下的 spark shell 开始干活。

撰写回答
你尚未登录,登录后可以
  • 和开发者交流问题的细节
  • 关注并接收问题和回答的更新提醒
  • 参与内容的编辑和改进,让解决方法与时俱进
推荐问题