hive与mysql关联_Hive安装以及和Mysql关联

一、Hive的安装地址

1．Hive官网地址

http://hive.apache.org/

2．文档查看地址

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3．下载地址

http://archive.apache.org/dist/hive/

4．github地址

https://github.com/apache/hive

二、Hive的安装

1、上传和解压

$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/

2、修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh

$ mv hive-env.sh.template hive-env.sh

3、配置hive-env.sh文件

(a)配置HADOOP_HOME路径

export HADOOP_HOME=/opt/module/hadoop-2.7.2

(b)配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/opt/module/hive/conf

4．启动hadoop集群和创建目录

(1)必须启动hdfs和yarn

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

(2)在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

bin/hadoop fs -mkdir /tmp

bin/hadoop fs -mkdir -p /user/hive/warehouse

bin/hadoop fs -chmod g+w /tmp

bin/hadoop fs -chmod g+w /user/hive/warehouse

5、Hive基本操作-----与mysql及其类似

(1)启动hive

$ bin/hive

(2)查看数据库

hive> show databases;

(3)打开默认数据库

hive> use default;

(4)显示default数据库中的表

hive> show tables;

(5)创建一张表

hive> create table student(id int, name string);

(6)显示数据库中有几张表

hive> show tables;

(7)查看表的结构

hive> desc student;

(8)向表中插入数据

hive> insert into student values(1000,"ss");

(9)查询表中数据

hive> select * from student;

(10)退出hive

hive> quit;

三、MySql安装-存储元数据----一定是root用户

1、 安装包准备

1)．查看mysql是否安装，如果安装了，卸载mysql

(1)查看    [root@hadoop102 桌面]# rpm -qa|grep mysql

(2)卸载   [root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

2)．解压mysql-libs.zip文件到当前目录

解压zip

[root@hadoop102 software]# unzip mysql-libs.zip

[root@hadoop102 software]# ls

mysql-libs.zip

mysql-libs

3)．进入到mysql-libs文件夹下

[root@hadoop102 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

2、 安装MySql服务器

1)．安装mysql服务端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2)．查看产生的随机密码---为了登录使用

[root@hadoop102 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs

3)．查看mysql状态

[root@hadoop102 mysql-libs]# service mysql status

4)．启动mysql

[root@hadoop102 mysql-libs]# service mysql start

3、 安装MySql客户端

1)．安装mysql客户端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2)．链接mysql

[root@hadoop102 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

3．修改密码

mysql>SET PASSWORD=PASSWORD('000000');

4．退出mysql

mysql>exit

4、★ MySql中user表中主机配置

需要修改配置让只要是root用户+密码，在任何主机上都能登录MySQL数据库。

1)．进入mysql   [root@hadoop102 mysql-libs]# mysql -uroot -p000000

2)．显示数据库

mysql>show databases;

3)．使用mysql数据库

mysql>use mysql;

4)．展示mysql数据库中的所有表

mysql>show tables;

5)．展示user表的结构

mysql>desc user;

6)．查询user表

mysql>select User, Host, Password from user;

7)．修改user表，把Host表内容修改为%

mysql>update user set host='%' where host='localhost';

8)．删除root用户的其他host

mysql>delete from user where Host='hadoop102';

mysql>delete from user where Host='127.0.0.1';

mysql>delete from user where Host='::1';

9)．刷新----千万别忘了

mysql>flush privileges;

10)．退出

mysql>quit;

四、 Hive元数据配置到MySql

1、 驱动拷贝和复制到hive的lib目录

$  tar -zxvf mysql-connector-java-5.1.27.tar.gz

$ cp mysql-connector-java-5.1.27-bin.jar   /opt/module/hive/lib/

2、 配置Metastore到MySql

1)．在/opt/module/hive/conf目录下创建一个hive-site.xml

$ vi hive-site.xml

2)．根据官方文档配置参数，拷贝数据到hive-site.xml文件中

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

配置jdbc的四个选项：

javax.jdo.option.ConnectionURL

jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

root

username to use against metastore database

javax.jdo.option.ConnectionPassword

000000

password to use against metastore database

3．配置完毕后，如果启动hive异常，可以重新启动虚拟机。(重启后，别忘了启动hadoop集群)

五、HiveJDBC访问

1   启动hiveserver2服务  $ bin/hiveserver2

2 启动beeline  $ bin/beeline

3 连接hiveserver2

beeline> !connect jdbc:hive2://hadoop102:10000(回车)

Connecting to jdbc:hive2://hadoop102:10000

Enter username for jdbc:hive2://hadoop102:10000: 用户名(回车)

Enter password for jdbc:hive2://hadoop102:10000: (直接回车)

Connected to: Apache Hive (version 1.2.1)

Driver: Hive JDBC (version 1.2.1)

Transaction isolation: TRANSACTION_REPEATABLE_READ