项目场景：

idea中搭建spark环境报错：Unable to fetch table student. Invalid method name: 'get_table_req';

问题描述

Unable to fetch table student. Invalid method name: 'get_table_req';
.......

原因分析：

hive和spark之间版本不兼容的问题

解决方案：

更改spark环境等依赖，匹配自己虚拟机或者本地的hive

我的hadoop版本为2.7.1  hive版本是2.1.1  

相匹配的spark是2.4.0

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.2.1</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>5.1.27</version>
    </dependency>
</dependencies>

如果你的hive不与我一样也可以自己去找maven的对应

spark-sql 

rrrMaven Repository: org.apache.spark » spark-sql (mvnrepository.com)

 spark-hive 

Maven Repository: org.apache.spark » spark-hive (mvnrepository.com)

hive-exec

Maven Repository: org.apache.hive » hive-exec (mvnrepository.com)

 当然还得一定要导入自己的mysql的驱动

附录一部分hive对应spark的版本

apache-hive-1.2.2-src <spark.version>1.3.1</spark.version>
apache-hive-2.1.1-src <spark.version>1.6.0</spark.version>
apache-hive-2.3.3-src <spark.version>2.0.0</spark.version>

apache-hive-2.3.4-src <spark.version>2.0.0</spark.version>
apache-hive-3.0.0-src <spark.version>2.3.0</spark.version>

最后

以上就是专注镜子为你收集整理的解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；项目场景：问题描述原因分析：解决方案：的全部内容，希望文章能够帮你解决解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；项目场景：问题描述原因分析：解决方案：所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。