无法识别 Pyspark 命令

Question

我安装了 anaconda，还下载了 Spark 1.6.2。我正在使用此答案中的以下说明为 Jupyter 配置 spark enter link description here

我已经下载并解压了 spark 目录

~/spark

现在，当我 cd 进入该目录并进入 bin 时，我看到以下内容

SFOM00618927A:spark $ cd bin
SFOM00618927A:bin $ ls
beeline         pyspark         run-example.cmd     spark-class2.cmd    spark-sql       sparkR
beeline.cmd     pyspark.cmd     run-example2.cmd    spark-shell     spark-submit        sparkR.cmd
load-spark-env.cmd  pyspark2.cmd        spark-class     spark-shell.cmd     spark-submit.cmd    sparkR2.cmd
load-spark-env.sh   run-example     spark-class.cmd     spark-shell2.cmd    spark-submit2.cmd

我还在我的 .bash_profile 和 .profile 中添加了上述答案中提到的环境变量

现在在 spark/bin 目录中，我首先要检查的是 pyspark 命令是否首先在 shell 上运行。

所以我在执行 cd spark/bin 之后执行此操作

SFOM00618927A:bin $ pyspark
-bash: pyspark: command not found

按照我可以做的所有步骤后的答案

pyspark

在任何目录的终端中，它应该启动一个带有 spark 引擎的 jupyter notebook。但即使是 shell 中的 pyspark 也无法正常工作忘记让它在 juypter notebook 上运行

请告知这里出了什么问题。

编辑：

我做了

open .profile

在主目录，这是存储在路径中的内容。

 export PATH=/Users/854319/anaconda/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Library/TeX/texbin:/Users/854319/spark/bin
export PYSPARK_DRIVER_PYTHON=ipython
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark

原文由 Baktaawar 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

1- 您需要设置 JAVA_HOME 和 shell 找到它们的火花路径。在您的 .profile 中设置它们之后，您可能想要

source ~/.profile

在当前会话中激活设置。从您的评论中我可以看出您已经遇到了 JAVA_HOME 问题。

请注意，如果您有 .bash_profile 或 .bash_login ， .profile 将无法按 此处 所述工作

2-当你在 spark/bin 你需要运行

./pyspark

告诉 shell 目标在当前文件夹中。

原文由 shuaiyuancn 发布，翻译遵循 CC BY-SA 3.0 许可协议