我是靠谱客的博主 甜美哈密瓜,最近开发中收集的这篇文章主要介绍记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群一、操作目的二、基础环境(Hadoop3.3.0集群、单节点 Hive)安装三、Hive 分布式集群部署四、hiveserver2 服务启动五、浏览器查看,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

一、操作目的

1、搭建 Hive 的分布式环境
2、可以在各个 Hive 的客户端节点上执行 hive 命令

二、基础环境(Hadoop3.3.0集群、单节点 Hive)安装

基于 Hadoop 3.x 集群搭建部署 Hive

三、Hive 分布式集群部署

1、编辑 hive 的配置文件 hive-site.xml

[root@master ~]# vim /usr/bigdata/apache-hive-3.1.2-bin/conf/hive-site.xml

2、增加配置内容

  <property>
    <name>hive.server2.active.passive.ha.enable</name>
    <value>true</value>
    <description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are enabled.This will also require hive.server2.support.dynamic.service.discovery to be enabled.</description>
  </property>

3、把 已经在 master 节点上安装配置好的 Hive 目录及文件发送给 slave1、slave2、slave3 节点

[root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave1:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave2:/usr/bigdata/
[root@master ~]# scp -r /usr/bigdata/apache-hive-3.1.2-bin root@slave3:/usr/bigdata/

4、在各个节点创建 hive 用户

[root@slave1 ~]# useradd hive
[root@slave2 ~]# useradd hive
[root@slave3 ~]# useradd hive

5、、查看 master 上的系统环境变量

[root@master ~]# cat /etc/profile

6、、slave1 节点上的大数据相关系统环境变量如下

export JAVA_HOME="/usr/lib/jvm/java-1.8.0"
export JRE_HOME="/usr/lib/jvm/java-1.8.0/jre"
export HADOOP_HOME="/usr/bigdata/hadoop-3.3.0"
export HIVE_HOME="/usr/bigdata/apache-hive-3.1.2-bin"

export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$hive_HOME/lib

7、、编辑 slave1、slave2、slave3 节点上的系统环境变量

[root@slave1 ~]# vim /etc/profile
[root@slave2 ~]# vim /etc/profile
[root@slave3 ~]# vim /etc/profile

8、、使 slave1、slave2、slave3 节点上的系统环境变量生效

[root@slave1 ~]# source /etc/profile
[root@slave2 ~]# source /etc/profile
[root@slave3 ~]# source /etc/profile

9、、在 slave2 节点上执行 hive 命令

[root@slave2 ~]# hive

启动效果如下:
在这里插入图片描述
10、在 slave3 节点上执行 hive 命令

[root@slave3 ~]# hive

启动效果如下:
在这里插入图片描述
11、由上图的操作可以看到前文在 master 节点上创建的数据库 db_test

四、hiveserver2 服务启动

1、控制台启动

[root@master ~]# hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001

2、后台启动

[root@master ~]# nohup hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 &

3、查看 hiveserver2 服务启动日志

[root@master ~]# cat /usr/bigdata/apache-hive-3.1.2-bin/logs/hive.log

在这里插入图片描述

五、浏览器查看

在浏览器地址栏录入 http://192.168.11.21:10002/ (说明:192.168.11.21 是 hiveserver2 服务启动节点的 IP )
在这里插入图片描述

至此,Centos7.x 搭建部署 Hive 3.1.2 分布式集群操作完毕,希望能够对您有所帮助!

最后

以上就是甜美哈密瓜为你收集整理的记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群一、操作目的二、基础环境(Hadoop3.3.0集群、单节点 Hive)安装三、Hive 分布式集群部署四、hiveserver2 服务启动五、浏览器查看的全部内容,希望文章能够帮你解决记一次 Centos7.x 搭建部署 Hive 3.1.2 分布式集群一、操作目的二、基础环境(Hadoop3.3.0集群、单节点 Hive)安装三、Hive 分布式集群部署四、hiveserver2 服务启动五、浏览器查看所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(40)

评论列表共有 0 条评论

立即
投稿
返回
顶部