1. 首页
  2. 文章中心
  3. 大数据

hadoop+hive单机部署

78 阅读 0 评论
我是靠谱客的博主 朴实吐司，这篇文章主要介绍hadoop+hive单机部署，现在分享给大家，希望可以做个参考。

注：前置要求已安装java。

一、安装Hadoop

1.下载hadoop

复制代码
1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

2.解压

复制代码
1
2
mkdir -p /data/hadoop
tar -xzvf hadoop-3.2.2.tar.gz -C /data/hadoop/

3.创建用户和组

复制代码
1
sudo groupadd hadoop && sudo useradd -g hadoop hadoop && sudo passwd hadoop

4.修改权限

复制代码
1
2
3
cd /data/hadoop/
chown -R hadoop:hadoop hadoop-3.2.2

5.配置用户环境变量

复制代码
1
vim /etc/profile

 江下面内容写入profile

## HADOOP env variables
export HADOOP_HOME=/data/hadoop/hadoop-3.2.2
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HIVE_HOME=/data/hadoop/apache-hive-3.1.2-bin
export SCALA_HOME=/data/hadoop/scala-2.11.8
export FLINK_HOEM=/data/flink/flink
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$FLINK_HOEM/bin

 6.配置yarn-site.xml

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
vim /data/hadoop/hadoop-3.2.2/etc/hadoop/yarn-site.xml
#讲下列内容写入
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<!-- 自己的ip端口默认 -->
<value>10.0.10.188</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
</property>

7.配置core-site.xml

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
vim /data/hadoop/hadoop-3.2.2/etc/hadoop/core-site.xml
#讲下列内容写入
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.0.10.188:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
<value>/data/hadoop/hadoop-3.2.2/tmp</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>false</value>
<description>Should native hadoop libraries, if present, be used.</description>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

8.配置hdfs-site.site

复制代码
1
2
3
4
5
6
7
8
9
10
11
vim /data/hadoop/hadoop-3.2.2/etc/hadoop/hdfs-site.xml
#讲下列内容写入
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<!--这里是你自己的ip，端口默认-->
<value>10.0.10.188:50090</value>
</property>

9.配置mapred-site.xml 

复制代码
1
2
3
4
5
6
7
8
9
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>

10.启动（记得在hadoop-env.sh里面加上java-home地址）

复制代码
1
2
3
4
5
cd /data/hadoop/hadoop-3.2.2/sbin
#启动
./start-all.sh
#停止
stop-all.sh

11.验证

hadoop：http://10.0.10.188:9870/

yarn：http://10.0.10.188:8088/cluster

 二、hive安装

1.下载hive

复制代码
1
wget http://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2.解压

复制代码
1
tar -xzvf apache-hive-2.3.5-bin.tar.gz -C /data/hadoop/

3.修改用户和组

复制代码
1
2
cd /data/hadoop/
chown -R hadoop:hadoopp apache-hive-3.1.2-bin

4.添加环境变量

在1.5添加环境变量的时候就已经添加好了。

5. 将mysql-connector-java放进lib

复制代码
1
cp /usr/share/java/mysql-connector-java-5.1.48.jar /data/hadoop/apache-hive-3.1.2-bin/lib && cd /data/hadoop/apache-hive-3.1.2-bin/lib && sudo chown hadoop:hadoop mysql-connector-java-5.1.48.jar

mysql-connector-java.jar自行下载合适版本

​链接：https://pan.baidu.com/s/1DRmW9nylw3-0vbcvvVrczQ 
提取码：1234

 6.编辑hive-site.xml,如果没有，需要创建文件

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
cd /data/hadoop/apache-hive-3.1.2-bin/conf
vim hive-site.xml
#将下列内容加入
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/data/hadoop/apache-hive-3.1.2-bin/warehouse</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.0.10.76:3306/hive_db?useSSL=false&amp;serverTimezone=Asia/Shanghai</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/data/hadoop/apache-hive-3.1.2-bin/log</value>
</property>
<!--enable webui-->
<property>
<name>hive.server2.webui.host</name>
<value>10.0.10.188</value>
</property>
<property>
<name>hive.server2.webui.port</name>
<value>10002</value>
</property>
<property>
<name>hive.scratch.dir.permission</name>
<value>777</value>
</property>
</configuration>

7.配置mysql数据库

复制代码
1
2
3
create database hive_db character set utf8;
grant all on hive_db.* to 'root'@'hive' identified by 'passwd';
flush privileges;

 mysql配置远程访问权限，5和8不一样，不成功请百度。

8.初始化hive数据库

复制代码
1
2
cd /data/hadoop/apache-hive-3.1.2-bin
bin/schematool --dbType mysql --initSchema

 如果报log4j冲突，将hadoop里面的新版本放入hive的lib里面，删掉旧版本。

9.hive的历史命令存放在~/.hivehistory

10.启动hiveserver2服务

复制代码
1
hive --service hiveserver2 & > /dev/null

11.打开webui

http://hive:10002/hiveserver2.jsp

三、安装flink单机

1.下载

2.配置

复制代码
1
vim /data/flink/flink/conf/flink-conf.yaml

3.修改master

复制代码
1
2
3
vim master
#添加下面内容
localhost:8081

4.修改worker

复制代码
1
locahost

最后

以上就是朴实吐司最近收集整理的关于hadoop+hive单机部署的全部内容，更多相关hadoop+hive单机部署内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(52)

相关文章

Hadoop、hive、sqoop入门及完整小例子 Hadoop Hive Sqoop 数据收集
Hadoop、hive、sqoop入门及完整小例子 Hadoop Hive Sqoop 数据收集
sqoop搭建
sqoop搭建
Hadoop组件sqoop部署
Hadoop组件sqoop部署
Sqoop客户端安装以及使用小结
Sqoop客户端安装以及使用小结
hadoop+hive单机部署
hadoop+hive单机部署
Hive跨集群数据迁移
Hive跨集群数据迁移
Hadoop3.0集群安装部署
Hadoop3.0集群安装部署
hadoop集群sqoop2安装指南
hadoop集群sqoop2安装指南

评论列表共有 0 条评论

立即
投稿
返回
顶部