SPARK_HOME 环境变量已设置，但 Jupyter Notebook 看不到它。 （视窗）

Question

我在 Windows 10 上。我试图让 Spark 在 Jupyter Notebook 中与 Python 3.5 一起运行。我安装了预构建版本的 Spark 并设置了 SPARK_HOME 环境变量。我安装了 findspark 并运行代码：

 import findspark
findspark.init()

我收到一个值错误：

ValueError：找不到 Spark，确保设置了 SPARK_HOME env 或 Spark 位于预期位置（例如来自自制程序安装）。

但是设置了 SPARK_HOME 变量。 这 是一张屏幕截图，显示了我系统上的环境变量列表。

有没有人遇到过这个问题或者知道如何解决这个问题？我只发现了一个旧的讨论，其中有人将 SPARK_HOME 设置为错误的文件夹，但我认为这不是我的情况。

原文由 Andrea 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

我遇到了同样的问题，并通过安装“vagrant”和“virtual box”解决了这个问题。 （注意，虽然我使用的是 Mac OS 和 Python 2.7.11）

看看本教程，它适用于哈佛 CS109 课程： https ://github.com/cs109/2015lab8/blob/master/installing_vagrant.pdf

在终端上“vagrant reload”后，我可以无误地运行我的代码。注意附图中显示的命令“os.getcwd”的结果之间的差异。

原文由 Ancalagon BerenLuthien 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

我遇到了同样的问题，浪费了很多时间。我找到了两个解决方案：

有两种解决方法

1. 将下载的 spark 文件夹复制到 C 目录中的某个位置，并提供如下链接

   import findspark
   findspark.init('C:/spark')

1. 使用findspark的功能自动查找spark文件夹

   import findspark
   findspark.find()

原文由 emdi 发布，翻译遵循 CC BY-SA 3.0 许可协议