hive与spark的匹配版本汇总

68 阅读 0 评论 45 点赞

我是靠谱客的博主殷勤便当，最近开发中收集的这篇文章主要介绍hive与spark的匹配版本汇总，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

版本信息来自于hive的源码包的pom.xml文件中，汇总下：

apache-hive-1.2.2-src <spark.version>1.3.1</spark.version>
apache-hive-2.1.1-src <spark.version>1.6.0</spark.version>
apache-hive-2.3.3-src <spark.version>2.0.0</spark.version>
apache-hive-3.0.0-src <spark.version>2.3.0</spark.version>

stackoverflow上可行的例子是：
spark 2.0.2 with hadoop 2.7.3 and hive 2.1
参考链接：
https://stackoverflow.com/questions/42281174/hive-2-1-1-on-spark-which-version-of-spark-should-i-use

qq群里网友给出的版本是：

Hive 2.6　spark2.2.0

我自己的当前版本如下,暂时没发现有什么兼容性问题:

apache-hive-3.0.0-bin

hadoop-3.0.3

spark-2.3.1-bin-hadoop2.7