学习篇-Hadoop-Hive-环境部署

一、Hadoop-Hive-环境部署

• 下载网址：http://archive.cloudera.com/cdh5/cdh/5/

  • 下载注意需要跟hadoop保持同一版本
  • wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz

• 上传到服务器

  • scp hive-1.1.0-cdh5.15.1.tar.gz.tar root@139.129.240.xxx:/big_data_learn/software/

• 解压到指定目录

  • tar -zvxf hive-1.1.0-cdh5.15.1.tar.gz.tar -C /big_data_learn/app/
    

• 配置环境变量

  HIVE_HOME=/big_data_learn/app/hive-1.1.0-cdh5.15.1
  PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$GIT_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH
  CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
  export PATH JAVA_HOME CLASSPATH JRE_HOME MAVEN_HOME GIT_HOME HADOOP_HOME HIVE_HOME
  

• 修改配置文件

  • 注意hive-env.sh中的HIVE_HOME的路径，如果配置了环境变量，则不关心。如果没配置，则需要手动指定路径

  • 配置hive-site.xml

    • 因为解压包没这个文件，所以需要手动创建

    • vim hive-site.xml，拷贝如下文件内容

      <?xml version="1.0" ?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
      <configuration>
          <property>
              <name>javax.jdo.option.ConnectionURL</name>
              <value>jdbc:mysql://139.129.240.xxx:3306/hadoop_hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
          </property>
      
          <property>
              <name>javax.jdo.option.ConnectionDriverName</name>
              <value>com.mysql.jdbc.Driver</value>
          </property>
      
          <property>
              <name>javax.jdo.option.ConnectionUserName</name>
              <value>test</value>
          </property>
      
          <property>
              <name>javax.jdo.option.ConnectionPassword</name>
              <value>123456</value>
          </property>
      
      </configuration>
      

  • 拷贝mysql驱动到hive-1.1.0-cdh5.15.1/lib目录中

    • 下载mysql驱动

    • 上传mysql驱动

      scp mysql-connector-java-8.0.12.jar root@139.129.240.xxx:/big_data_learn/software/
      

    • 将mysql驱动到hive-1.1.0-cdh5.15.1/lib目录

      cp mysql-connector-java-8.0.12.jar /big_data_learn/app/hive-1.1.0-cdh5.15.1/lib
      

  • 服务器mysql数据库的安装参考：CentOS 7-mysql的安装姿势

  • 启动hive

    • 进入bin目录直接使用hive命令

      hive
      

      

      • 注意：hive启动完成依赖hadoop环境的前置

最后

以上就是震动含羞草为你收集整理的学习篇-Hadoop-Hive-环境部署的全部内容，希望文章能够帮你解决学习篇-Hadoop-Hive-环境部署所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。