py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled 在JVM中不存在

Question

我目前在 JRE：1.8.0_181，Python：3.6.4，spark：2.3.2

我正在尝试在 Python 中执行以下代码：

 from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('Basics').getOrCreate()

这失败并出现以下错误：

spark = SparkSession.builder.appName(‘Basics’).getOrCreate() 回溯（最近调用最后）：文件“”，第 1 行，在文件“C:\Tools\Anaconda3\lib\site-packages\pyspark\sql \session.py”，第 173 行，在 getOrCreate sc = SparkContext.getOrCreate(sparkConf) 文件“C:\Tools\Anaconda3\lib\site-packages\pyspark\context.py”，第 349 行，在 getOrCreate SparkContext(conf= conf 或 SparkConf()) File “C:\Tools\Anaconda3\lib\site-packages\pyspark\context.py”, line 118, in init conf, jsc, profiler_cls) File “C:\Tools\Anaconda3\lib\ site-packages\pyspark\context.py”，第 195 行，在 _do_init self._encryption_enabled = self._jvm.PythonUtils.getEncryptionEnabled(self._jsc) 文件“C:\Tools\Anaconda3\lib\site-packages\py4j\java_gateway .py”，第 1487 行，在 getattr 中“{0}。{1} 在 JVM 中不存在”。格式（self._fqn，名称）） py4j.protocol.Py4JError：org.apache.spark.api.python。 JVM 中不存在 PythonUtils.getEncryptionEnabled

任何人都知道什么可能是这里的潜在问题？

感谢这里的任何帮助或反馈。谢谢！

原文由 bvkclear 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

使用findspark有望解决问题：

安装 findspark

$pip install findspark

在你的代码中使用：

 import findspark
findspark.init()

您可以选择在上面的 init 方法中指定“/path/to/spark”； findspark.init("/path/to/spark")

原文由 sm7 发布，翻译遵循 CC BY-SA 4.0 许可协议