Hadoop+hive 单机部署

1. 准备文件

      jdk-7u45-linux-x64.tar.gz

     hadoop-2.9.2.tar.gz

     apache-hive-2.3.6-bin.tar.gz

     将文件上传到 /usr/local 目录下进行解压

2. 配置环境变量  (vi  /etc/profile)

#set java

JAVA_HOME=/usr/local/java

JRE_HOME=/usr/local/java/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

#set hadoop

export HADOOP_HOME=/usr/local/hadoop-2.9.2

export PATH=$HADOOP_HOME/bin:$PATH

#set hive

export HIVE_HOME=/usr/local/apache-hive-2.3.7-bin

export PATH=$PATH:$HIVE_HOME/bin

3. 刷新配置

Source /etc/profile

4. 查看版本

java –version  hadoop version   hive –version

5. 修改hadoop配置文件

Cd /usr/local/hadoop-2.9.2/etc/hadoop/

Vim core-site.xml
增加

<property>
    <name>fs.defaultFS</name>
    <!-- 这里填的是你自己的ip，端口默认-->
    <value>hdfs://192.168.124.144:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
    <value>/usr/local/hadoop-2.9.2/tmp</value>
</property>

<property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
</property>

      Vim hadoop-env.sh  增加

     JAVA_HOME=/usr/local/java

    Vim hdfs-site.xml  增加

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

<property>
        <name>dfs.secondary.http.address</name>

<!--这里是你自己的ip，端口默认-->
        <value>192.168.124.144:50090</value>
    </property>

      复制默认的cp mapred-site.xml.template ./mapred-site.xml 配置命名为mapred-site.xml

      Vim mapred-site.xml

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

Vim yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 自己的ip端口默认 -->
    <value>192.168.124.144</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

6. 格式化hadoop 文件格式

cd /usr/local/hadoop-2.9.2/sbin/    hadoop namenode –format

7. 执行启动所有命令

cd /usr/local/hadoop-2.9.2/sbin/  ./start-all.sh

8. Hive关联hadoop

Cd /usr/local/apache-hive-2.3.7-bin/conf

cp hive-env.sh.template hive-env.sh

vi hive-env.sh  增加

export HADOOP_HOME=/usr/local/hadoop-2.9.2

9. 创建数据仓库

hadoop fs -mkdir -p /tmp   hive任务在hdfs中的缓存目录

hadoop fs -mkdir -p /user/hive/warehouse       hive数据仓库，存储hive创建的数据库

hadoop fs -chmod a+w /tmp

hadoop fs -chmod a+w /user/hive/warehouse

10. 对hive数据库的元数据进行初始化

Cd /usr/local/apache-hive-2.3.7-bin/bin

schematool -dbType derby -initSchema

同目录下执行 hive 命令启动

最后

以上就是单纯雪碧为你收集整理的Hadoop+hive 单机部署的全部内容，希望文章能够帮你解决Hadoop+hive 单机部署所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。