我是靠谱客的博主 深情微笑,最近开发中收集的这篇文章主要介绍[Ubuntu]安装 Hive,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

1. 下载 Hive 安装包

官网:http://us.mirrors.quenda.co/apache/hive/
通过下面的链接可以下载 hive-3.1.1
百度云:https://pan.baidu.com/s/1bDthcGujZ8HNQwtn7pAKfQ
提取码:nobr

2. 解压并转移 Hive 文件

tar zxf apache-hive-3.1.1-bin.tar.gz 
mv apache-hive-3.1.1-bin /usr/local/hive

3. 设置环境变量

vim /etc/profile

在 profile 文件中加入

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

然后执行

source /etc/profile

4. 配置 Hive

在 $HIVE_HOME/conf目录下,创建并编辑hive-env.sh文件

cd $HIVE_HOME/conf
cp hive-env.sh.template hive-env.sh

打开 hive-env.sh 文件,加入:

export HADOOP_HOME=/usr/local/hadoop

5. 下载并安装 Apache Derby

Hive 需要一个外部数据库服务器配置 Metastore
5.1 下载 Apache Derby
官网:http://db.apache.org/derby/derby_downloads.html
5.2 解压并转移 Derby

tar zxf db-derby-10.14.2.0-bin.tar.gz 
mv db-derby-10.14.2.0-bin /usr/local/derby

5.3 配置 Derby 环境
/etc/profile 中加入

export DERBY_HOME=/usr/local/derby
export PATH=$PATH:$DERBY_HOME/bin
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar

5.4 配置Hive的Metastore
a. 首先创建一个目录来存放Metastore

mkdir $DERBY_HOME/data

b. 创建 hive-site.xml 文件

cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml

c. 编辑hive-site.xml并在<configuration>和</configuration>之间追加以下行:

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby://localhost:1527/metastore_db;create=true </value>
   <description>JDBC connect string for a JDBC metastore </description>
</property>

d. 创建一个名为 jpox.properties 的文件并添加以下行:

javax.jdo.PersistenceManagerFactoryClass = org.jpox.PersistenceManagerFactoryImpl
org.jpox.autoCreateSchema = false
org.jpox.validateTables = false
org.jpox.validateColumns = false
org.jpox.validateConstraints = false
org.jpox.storeManagerType = rdbms
org.jpox.autoCreateSchema = true
org.jpox.autoStartMechanismMode = checked
org.jpox.transactionIsolation = read_committed
javax.jdo.option.DetachAllOnCommit = true
javax.jdo.option.NontransactionalRead = true
javax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriver
javax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = true
javax.jdo.option.ConnectionUserName = APP
javax.jdo.option.ConnectionPassword = mine

6. 验证 Hive

6.1 创建 /tmp 和 /user/hive/warehouse 文件夹

$HADOOP_HOME/bin/hadoop fs -mkdir /tmp 
$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
$HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

6.2 启动 Hive
下面的命令来验证配置单元安装:

$ cd $HIVE_HOME
$ bin/hive

如果遇到如下报错
在这里插入图片描述
需要新建一个文件夹来替换掉 hive-site.xml 文件中的 system:java.io.tmpdir

mkdir /usr/local/hive/iotmp

打开 hive-site.xml 文件,输入

:%s/system:java.io.tmpdir/usr/local/hive/iotmp/g

6.3 可能遇到的问题
a. https://blog.csdn.net/jhc_binge/article/details/84649767
b. https://blog.csdn.net/wuliusir/article/details/49156943

最后

以上就是深情微笑为你收集整理的[Ubuntu]安装 Hive的全部内容,希望文章能够帮你解决[Ubuntu]安装 Hive所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(65)

评论列表共有 0 条评论

立即
投稿
返回
顶部