从hive数据表查询数据导入到mysql的一般步骤

86 阅读 0 评论 57 点赞

我是靠谱客的博主热情汉堡，最近开发中收集的这篇文章主要介绍从hive数据表查询数据导入到mysql的一般步骤，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1、hive执行查询把数据保存到本地的文件中
hive_sql="SELECT * from table1 "

hive -i $base/init.sql -e "$hive_sql" > $base/date.data
- i 引入hive查询参数的设置，map、reduce的个数，数据库的选择等；
- e 执行写好的select查询

2、把从hive中查询出来的数据导入到MySQL中(按照天先删除后添加)，需要注意双引号别漏了
mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "
set names utf8;
delete from detail where date=$date;
load data local infile '$base/date.data' into table detail
fields escaped by '' (date,field1,,field2);
"

3、校验数据以及插入倒数标记位
获取导入到MySQL的数据的条数
mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "select count(1) from detail where date=$date"|awk 'NR > 1{print $0}' > $base/detail_check_date.data
一旦有数则表明数据导入成功进行数据导入标记表插入标记(通过awk提取标记位)
flag=`awk '{if($1 > 1) {print 1} else {print 0}} ' $base/detail_check_date.data`

插入标记位
mysql -h127.0.0.1 -P3306 -uroot -p111111 -Dtest -e "
set names utf8;
delete from monitor where date = $date and table_name ='detail';
insert into monitor (date,table_name,complete_flag) values ($date,'detail',$flag)
"
删除临时文件
/bin/rm -rf $base/date.data
/bin/rm -rf $base/detail_check_date.data