java.lang.NoClassDefFoundError：org/apache/spark/sql/SparkSession

Question

我用 Java 编写了一个 Spark Job。当我提交作业时出现以下错误：

 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
        at com.thinkbiganalytics.veon.util.SparkSessionBuilder.getOrCreateSparkSession(SparkSessionBuilder.java:12)
        at com.thinkbiganalytics.veon.AbstractSparkTransformation.initSparkSession(AbstractSparkTransformation.java:92)
        at com.thinkbiganalytics.veon.transformations.SDPServiceFeeDeductionSourceToEventStore.init(SDPServiceFeeDeductionSourceToEventStore.java:57)
        at com.thinkbiganalytics.veon.AbstractSparkTransformation.doTransform(AbstractSparkTransformation.java:51)
        at com.thinkbiganalytics.veon.transformations.SDPServiceFeeDeductionSourceToEventStore.main(SDPServiceFeeDeductionSourceToEventStore.java:51)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:745)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

原文由 us56 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

使用 spark-submit 提交时，检查您的项目是否与 pom.xml 中的 spark 版本具有相同的依赖关系，

这可能是因为你在同一台机器上有两个 spark 版本

---

如果你想在你的机器上安装不同的 Spark，你可以创建不同的软链接，并且可以使用你在其上构建项目的确切 spark 版本

spark1-submit -> /Users/test/sparks/spark-1.6.2-bin-hadoop2.6/bin/spark-submit

spark2–submit -> /Users/test/sparks/spark-2.1.1-bin-hadoop2.7/bin/spark-submit

这是来自 Cloudera 博客的关于多个 Spark 版本的链接 https://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Multiple-Spark-version-on-the-same-cluster/td-p/39880

原文由 ankursingh1000 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

如果您从 Intellij IDEA 内部运行，并且您已将您的 spark 库标记为“已提供”，如下所示： "org.apache.spark" %% "spark-sql" % "3.0.1" % "provided" ，那么您需要编辑您的运行/调试配置并检查“包括依赖项提供范围”框。

原文由 Jeremy 发布，翻译遵循 CC BY-SA 4.0 许可协议