Ubuntu18.04下安装Java、Hadoop和Hive一、安装并配置Java二、SSH安装、配置三、hadoop下载安装四、部署HIVE

69 阅读 0 评论 46 点赞

我是靠谱客的博主称心便当，这篇文章主要介绍Ubuntu18.04下安装Java、Hadoop和Hive一、安装并配置Java二、SSH安装、配置三、hadoop下载安装四、部署HIVE，现在分享给大家，希望可以做个参考。

一、安装并配置Java

openjdk

更新软件包列表：

复制代码

1
2
sudo apt-get update

安装openjdk-8-jdk：

复制代码

1
2
sudo apt-get install openjdk-8-jdk

查看java版本，看看是否安装成功：

复制代码

1
2
java -version

复制代码

1
2
cd /usr/bin

查看java的链接

复制代码

1
2
ls -l java

再进入到相应的目录

复制代码

1
2
/etc/alternatives

查看java的链接

复制代码

1
2
ls -l java

设置环境变量：打开环境变量的配置文件

复制代码

1
2
sudo gedit /etc/profile

在末尾添加：

复制代码

1
2
3
4
5
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

重新加载环境变量的配置文件：

复制代码

1
2
source /etc/profile

复制代码

1
2
java -version

二、SSH安装、配置

在Linux中安装SSH免登录认证，用于避免使用Hadoop时的权限问题。

SSH的安装命令：

复制代码

1
2
sudo apt-get install ssh

三、hadoop下载安装

镜像：https://mirrors.cnnic.cn/apache/hadoop/common/
选择稳定版本 stable/
选择hadoop-3.3.0-aarch64.tar.gz
然后将其解压到：/usr/local

复制代码

1
2
sudo tar -zxf /home/yangning/Downloads/hadoop-3.3.0-aarch64.tar.gz -C /usr/local

重命名并修改权限：

复制代码

1
2
cd /usr/local/

复制代码

1
2
3
sudo mv ./hadoop-3.3.0 ./hadoop
sudo chown -R yangning ./hadoop

检测：

复制代码

1
2
 /usr/local/hadoop/bin/hadoop version

配置Hadoop

单机配置：

无需做任何东西，上面安装成功即是默认的单机模式：

测试：

复制代码

1
2
cd /usr/local/hadoop

复制代码

1
2
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar

环境变量

复制代码

1
2
gedit /etc/profile

复制代码

1
2
export PATH=$PATH:/usr/local/hadoop/bin

复制代码

1
2
source /etc/profile

复制代码

1
2
hadoop version

四、部署HIVE

Hive 安装
下载地址：http://hive.apache.org/downloads.html

复制代码

1
2
tar -xvf apache-hive-3.1.2-bin.tar.gz

复制代码

1
2
mv apache-hive-3.1.2-bin /opt/hive/

复制代码

1
2
3
cd /opt/hive
mv apache-hive-3.1.2-bin hive-3.1.2

配置环境变量

复制代码

1
2
gedit /etc/profile

复制代码

1
2
3
export HIVE_HOME=/opt/hive/hive-3.1.2
export HIVE_CONF_DIR=${HIVE_HOME}/conf

复制代码

1
2
source /etc/profile

创建一些目录
在修改配置文件之前，需要先在本地opt(可以是任意目录)目录下建立一些文件夹。

复制代码

1
2
mkdir /opt/hive

复制代码

1
2
mkdir /opt/hive/warehouse

在hadoop上新建同样的目录并赋予读写权限：

复制代码

1
2
3
4
5
6
hadoop fs -mkdir -p /opt
hadoop fs -mkdir -p /opt/hive/
hadoop fs -mkdir -p /opt/hive/warehouse
hadoop fs -chmod 777 /opt/hive/
hadoop fs -chmod 777 /opt/hive/warehouse

修改hive-site.xml
切换到 /opt/hive/hive-3.1.2/conf 目录下，将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml然后编辑hive-site.xml文件

复制代码

1
2
3
cp hive-default.xml.template hive-site.xml
gedit hive-site.xml

复制代码

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/root/hive/warehouse</value>
</property>
 
<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
</property>
 

<property>
    <name>hive.metastore.uris</name>
    <value></value>
</property>
 

 

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false</value>
    <description>
        JDBC connect string for a JDBC metastore.
        To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
        For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    <description>
    </description>
</property>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<!-- 指定HDFS中的hive仓库地址 -->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/root/hive/warehouse</value>
</property>
 
<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
</property>
 
<!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 -->
<property>
    <name>hive.metastore.uris</name>
    <value></value>
</property>
 
<!-- 指定mysql的连接 -->
 
<!-- localhost是mysql所在机器的IP这里是本地所以localhost-->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>
        JDBC connect string for a JDBC metastore.
        To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
        For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
</property>
<!-- 指定驱动类 -->
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<!-- 指定用户名 -->
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<!-- 指定密码 -->
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    <description>
    </description>
</property>

然后将配置文件中所有的
${system:java.io.tmpdir}更改为 /opt/tmp/hive (如果没有该文件则创建)，
并将hive文件夹赋予777权限，将
${system:user.name}更改为 root

修改 hive-env.sh
修改hive-env.sh 文件

复制代码

1
2
cp hive-env.sh.template hive-env.sh

在这个配置文件中添加

复制代码

1
2
gedit hive-env.sh

复制代码

1
2
3
4
5
6
export HADOOP_HOME=/usr/local/hadoop

export HIVE_CONF_DIR=/opt/hive-3.1.2/conf

export HIVE_AUX_JARS_PATH=/opt/hive-3.1.2/lib

添加mysql 数据驱动包
安装mysql-connector-java 驱动

最后

以上就是称心便当最近收集整理的关于Ubuntu18.04下安装Java、Hadoop和Hive一、安装并配置Java二、SSH安装、配置三、hadoop下载安装四、部署HIVE的全部内容，更多相关Ubuntu18内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。

本文分类：Other
浏览次数：69 次浏览
发布日期：2023-09-29 02:05:50
本文链接：https://www.kaopuke.com/article/k-p-k_14_uzocf5_14__23__2_5.html

Ubuntu18.04下安装Java、Hadoop和Hive一、安装并配置Java二、SSH安装、配置三、hadoop下载安装四、部署HIVE

一、安装并配置Java

openjdk

二、SSH安装、配置

三、hadoop下载安装

配置Hadoop

四、部署HIVE

最后

评论列表共有 0 条评论

发表评论取消回复

Ubuntu18.04下安装Java、Hadoop和Hive一、安装并配置Java二、SSH安装、配置三、hadoop下载安装四、部署HIVE

一、安装并配置Java

openjdk

二、SSH安装、配置

三、hadoop下载安装

配置Hadoop

四、部署HIVE

最后

相关文章

评论列表共有 0 条评论

发表评论 取消回复

微信扫一扫：分享

发表评论取消回复