如何在 Pyspark 中将行分成多行

Question

我知道在 Python 中可以使用反斜杠甚至括号将一行分成多行。

但是不知何故，当我这样做时，在 pyspark 中，我确实将下一行显示为红色，这表明可能有问题。

 (conf.setAppName('Learnfit_Recommender')
 .set("spark.executor.memory", "10g")
 .set("spark.executor.cores",5)
 .set("spark.executor.instances",50)
 .set("spark.yarn.executor.memoryOverhead",1024)
)

编辑 1：我将括号更改为反斜杠。而且，如果您看到图像，我会看到很少的“。”为红色，甚至 sc 变量也被标记为红色。

这是在 pyspark 中断行的正确方法吗？

原文由 Baktaawar 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

您可以使用斜杠和括号

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

编辑：以及来自 Spark 提交作业的示例

./bin/spark-submit \
--master <yarn> \
--deploy-mode <cluster> \
--num-executors <2> \
--executor-cores <2> \

原文由 gold_cy 发布，翻译遵循 CC BY-SA 3.0 许可协议