sqoop 常用命令及参数

Sqoop User Guide (v1.4.7) (apache.org)

Sqoop 安装及配置

sqoop 命令说明

数据抽取方式介绍

sqoop 数据抽取（即导入和导出，抽取的双方是相对的）的方式有以下两种

① Sqoop API（使用较多）

数据的格式支持比较少，数据允许覆盖，不要求源表和目标表字段相同 (字段名称和个数都可以不相同) ，它抽取的方式是将字段按顺序插入，不够的字段为 Null

② HCatalog API

支持的数据格式比较多（RCFile、 ORCFile、 CSV、 JSON、SequenceFile），数据不允许覆盖，只能追加，字段个数可以不相同，但是字段名必须相同，否则会报错 NullPointerException

数据抽取命令类型

① 数据导入（import）

1. 关系型数据库导入数据到 HDFS
2. 关系型数据库导入数据到 HIVE

② 数据导出（export）

1. HIVE 导出数据到关系型数据库

数据库连接相关参数

import 相关参数

export 相关参数

hive 相关参数

从关系型数据库导入数据到 hive

① 全量导入

# 从 mysql 的 test.teacher 表中导入数据到 hive 的 ods.teacher 表中
# 全量覆盖
# 字段分隔符为 ',' 号
# MapReduce 任务数量为 1
sqoop import 
--connect jdbc:mysql://117.125.88.163:3306/test 
--username root 
--password 123abc 
--table teacher 
--hive-table ods.teacher 
--hive-import 
--hive-overwrite 
--fields-terminated-by ',' 
-m 1

② 增量导入

通过 sql 语句 + where 条件 来控制数据的增量

# where 后面有条件
sqoop import 
--connect jdbc:mysql://117.125.88.163:3306/test 
--username root 
--password 123abc 
--query "select * from emp where id > 1203 and  $CONDITIONS" 
--fields-terminated-by 't' 
--hcatalog-database sqooptohive 
--hcatalog-table emp 
-m 1

# where 没有条件
sqoop import 
--connect jdbc:mysql://117.125.88.163:3306/test 
--username root 
--password 123abc 
--query "select * from emp where $CONDITIONS" 
--fields-terminated-by 't' 
--hcatalog-database sqooptohive 
--hcatalog-table emp 
-m 1

从 hive 导入数据到关系型数据库

# 增加了对 NULL 值的处理
# 在 Hive 的底层，空值默认为 'N' 
sqoop export 
--connect jdbc:mysql://117.125.88.163:3306/test?characterEncoding=utf-8 
--username root 
--password 123456 
--table emp 
--export-dir /user/hive/warehouse/test.db/emp/dt=20200903 
--input-fields-terminated-by ',' 
--input-null-string '\N' 
--input-null-non-string '\N' 

通过sqoop 执行 sql 命令

sqoop eval --connect jdbc:mysql://1.1.106.23:3306/test --username root --password admin@1234. --query "select * from  stu"

最后

以上就是怡然香氛为你收集整理的sqoop 常用命令及参数的全部内容，希望文章能够帮你解决sqoop 常用命令及参数所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。