Hadoop系统入门之数据仓库Hive

Hive产生的背景:
MapReduce编程的不方便
传统关系型数据库的需要

Hive概述之Hive是什么
由Facebook开源，用与解决海量结构化日志的数据统计问题。
构建再Hadoop之上的数据仓库。
Hive提供的SQL查询语言: HQL。
底层支持多种不同的执行引擎。

HDFS上的文件并没有schema（数据组织结构）的概念。
Hive底层执行引擎支持: MR/Tez/Sperk.

统一元数据管理:
Hive数据是存放在HDFS.
元数据信息(记录数据的数据)是存放在MySQL中。
SQL on Hadoop: Hive,Spark SQL,impala….

Hive体系架构:

Hive数据抽象/结构
database HDFS一个目录
table HDFS一个目录
data 文件
partition 分区表 HDFS一个目录
data 文件
bucket 分桶 HDFS一个文件

Hive部署:
1.下载:Hive 数据仓库下载要参考hadoop版本，如图所示查看hadoop版本的命令:

2.解压,配置环境变量：
解压到指定的app目录
配置环境变量


配置完成source生效:


3.修改配置
修改hive-env.sh配置


修改hive-site.xml

4.拷贝Mysql驱动包到$HIVE_HOME/lib里面

5.前提要安装一个mysql数据库，yum install的方式安装一个mysql数据库。
https://www.cnblogs.com/julyme/p/5969626.html
6.启动hive

关于Hive挖坑知识点:

https://www.cnblogs.com/garfieldcgf/p/10215205.html，https://www.cnblogs.com/kisf/p/7573561.html，https://blog.csdn.net/zhangshenghang/article/details/98625330

最后

以上就是留胡子小丸子为你收集整理的Hadoop系统入门之数据仓库Hive的全部内容，希望文章能够帮你解决Hadoop系统入门之数据仓库Hive所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。