ValueError：无法使用 pyspark 在 spark 中一次运行多个 SparkContext

Question

我是使用 spark 的新手，我尝试在 pyspark 上运行这段代码

from pyspark import SparkConf, SparkContext
import collections

conf = SparkConf().setMaster("local").setAppName("RatingsHistogram")
sc = SparkContext(conf = conf)

但他给我发了这条错误信息

Using Python version 3.5.2 (default, Jul  5 2016 11:41:13)
SparkSession available as 'spark'.
>>> from pyspark import SparkConf, SparkContext
>>> import collections
>>> conf = SparkConf().setMaster("local").setAppName("RatingsHistogram")
>>> sc = SparkContext(conf = conf)

   Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
      File "C:\spark\python\pyspark\context.py", line 115, in __init__
        SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
      File "C:\spark\python\pyspark\context.py", line 275, in _ensure_initialized
        callsite.function, callsite.file, callsite.linenum))
    ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by getOrCreate at C:\spark\bin\..\python\pyspark\shell.py:43
    >>>

我有 spark 2.1.1 和 python 3.5.2 版本，我搜索并发现它是 sc 中的问题，他无法阅读它但不知道为什么，有人在这里提供帮助

原文由 ibrahim 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

你可以试试这个

sc = SparkContext.getOrCreate();

原文由 Maicol Demetrio Lastra Bazán 发布，翻译遵循 CC BY-SA 3.0 许可协议

Answer 2

你可以试试：

 sc = SparkContext.getOrCreate(conf=conf)

原文由 lvjiujin 发布，翻译遵循 CC BY-SA 4.0 许可协议