Sqoop使用

概述

沟通hdfs和关系型数据库的桥梁，可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs

安装配置

安装使用之前，必须安装好jdk和hadoop，并配置环境变量

访问http://sqoop.apache.org下载安装包

在linux中解压安装包即可使用

使用的时候通常要在sqoop的lib目录下放置要连接的关系型数据库的驱动包

常用命令

从关系型数据库导入到HDFS或Hive

-- 从关系型数据库导入数据到hdfs，输出到制定路径，制定数据分隔符
./sqoop import --connect jdbc:mysql://hadoop01:3306/demo 
	--username root --password root --table tab_name
        --target-dir '/sqoop/tb' --fields-terminated-by 't' -m 1 ;

-- connect 连接数据库
-- username 用户名
-- password 密码
-- table 数据库里的表名
-- target-dir hdfs的路径
-- fields-terminated-by 字段分隔符
-- m 指定用几个map去处理 


-- 可以增加where条件（条件必须用''引号引起来）
./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo
	 --username root --password 123  --table trade_detail
	  --where 'id>3' --target-dir '/sqoop/td2' 

-- 也可以增加query语句
./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo
	 --username root --password 123 
	 --query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS'
	  --split-by trade_detail.id --target-dir '/sqoop/td3'

-- 导入到hive
./sqoop import --connect jdbc:mysql://192.168.1.10:3306/demo 
	--username root --password 123  --table trade_detail
	 --hive-import --hive-table hivetab1 -m 1

从HDFS或Hive导出数据到关系型数据库

-- HDFS导出到关系型数据库中的数据，需要事先手动在关系型数据库中创建好表
./sqoop export --connect jdbc:mysql://192.168.8.120:3306/demo
	 --username root --password 123 --export-dir '/td3' 
	 --table td_bak -m 1 --fields-terminated-by ','

-- Hive导出到关系型数据库
-- 就是将hive在hdfs文件夹下的文件导出到mysql中

最后

以上就是听话时光为你收集整理的sqoop使用Sqoop使用的全部内容，希望文章能够帮你解决sqoop使用Sqoop使用所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。