我是靠谱客的博主 大意芒果,最近开发中收集的这篇文章主要介绍Sqoop和Hive整合,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

注:JDBC最好都加引号

Sqoop是一个Hadoop和关系型数据库的整合工具。能将MySQL、Oracle、SqlServer等数据库中的数据导入HDFS中,同样也能将HDFS中的数据导入MySQL、Oracle、SqlServer等中

Mysql HDFS Hive HBase import import import export export Mysql HDFS Hive HBase

将hive中的表传到mysql中



[root@master sw]# sqoop export --connect "jdbc:mysql://master:3306/yan?useUnicode=true&characterEncoding=utf-8" 
--username root 
--password 123456 
--table stu2 
--export-dir 'hdfs://master:9000/user/hive/warehouse/long.db/student2' 
--input-fields-terminated-by ','
--input-null-string '\N' 
--input-null-non-string '\N' 


-------------------------------------------------------------

--table mysql的表名 
--export-dir    hive表的地址
--input-fields-terminated-by ','   逗号分隔
#?useUnicode=true&characterEncoding=utf-8   --防止乱码

sqoop将mysql的数据传到hdfs



[root@master compile]# sqoop import -m 1   
--connect jdbc:mysql://master:3306/yan 
--username root 
--password 123456 
--table stu2 
--target-dir hdfs://master:9000/stu4 

--------不太华丽分割线----------------

--connect jdbc:mysql://地址:3306/数据库名
--username  用户名
--password 密码
--table 数据的表名
--target-dir hdfs的地址

最后

以上就是大意芒果为你收集整理的Sqoop和Hive整合的全部内容,希望文章能够帮你解决Sqoop和Hive整合所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(56)

评论列表共有 0 条评论

立即
投稿
返回
顶部