spark本地测试报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio

spark maven项目本地测试报错：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

原因是我在pom文件里引入的sparksql依赖加了<scope>provided</scope>标签，导致在执行时忽略了这个依赖。需要注释掉：

    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>2.4.8</version>
      <!--<version>${spark.version}</version>-->
      <!--<scope>provided</scope>-->
    </dependency>

然后在idea中刷新maven的依赖保证生效即可。

scope的参数如下：

compile

默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布

provided

跟compile相似，但是表明了dependency 由JDK或者容器提供，例如Servlet AP和一些Java EE APIs。这个scope 只能作用在编译和测试时，同时没有传递性。

runtime

表示dependency不作用在编译时，但会作用在运行和测试时，如JDBC驱动，适用运行和测试阶段。 test表示dependency作用在测试时，不作用在运行时。 只在测试时使用，用于编译和运行测试代码。不会随项目发布。 system跟provided 相似，但是在系统中要以外部JAR包的形式提供，maven不会在repository查找它

最后

以上就是粗心康乃馨为你收集整理的spark本地测试报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio的全部内容，希望文章能够帮你解决spark本地测试报错：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSessio所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。