sqoop从hdfs导入mysql_通过sqoop将hdfs数据导入MySQL

简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

一、查看hdfs数据查看，参考

[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt1250yangyamei doctor1251zhangzhenxing doctor1261zhangjun nurse1265Bob doctor2000 spark nurse

参考：https://www.cnblogs.com/iloverain/p/8809950.html

二、MySQL数据库创建接收数据的空表emp_demo

mysql> select * fromemp_demo;

Emptyset (0.00sec)//表结构

mysql> descemp_demo;+----------+--------------+------+-----+---------+-------+

| Field | Type | Null | Key | Default | Extra |

+----------+--------------+------+-----+---------+-------+

| EMP_NO | int(11) | YES | | NULL | |

| EMP_NAME | varchar(255) | YES | | NULL | |

| Job | varchar(255) | YES | | NULL | |

+----------+--------------+------+-----+---------+-------+

三、开始导出数据到MySQL

sqoop export --connect jdbc:mysql://hadoop001:3306/sqoop --username root --password 123456 --table emp_demo --export-dir /data/emp.txt

-m 1--verbose --fields-terminated-by 't'

–table 指定MySQL接收数据的表

–export-dir 指定从HDFS那个路径下导出数据

–verbose 打印更多信息

–fields-terminated-by ‘t’ 指定分隔符为t 记住必须指定分隔符否则报错

四、查看数据是否已经进入

mysql> select * fromemp_demo;+--------+---------------+--------+

| EMP_NO | EMP_NAME | Job |

+--------+---------------+--------+

| 1250 | yangyamei | doctor |

| 1251 | zhangzhenxing | doctor |

| 1261 | zhangjun | nurse |

| 1265 | Bob | doctor |

| 2000 | spark | nurse |

+--------+---------------+--------+

工作总结：

1.查询表

./sqoop list-tables --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111

2.hdfs导出到mysql中

sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /opt/hadoop/hive/ --input-fields-terminated-by 't'

sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /user/hive/warehouse/emp --input-fields-terminated-by 't'

3.mysql导入到hdfs中

sqoop import --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111 --table emp_demo --fields-terminated-by 't' -m 1

4.导入报错

18/08/11 11:56:34 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.5.132:50010,DS-f3e2c26c-28a0-4226-b768-cf1585d38ba5,DISK]

关闭防火墙

5.将数据文件上传至hdfs

hadoop fs -put --hdfs dir 一定要存在，否则命令不会执行

6.sqoop定位数据行数

-Dorg.apache.sqoop.export.text.dump_data_on_error=true

参考：https://blog.csdn.net/qq_20064245/article/details/78352973

sqoop export-Dorg.apache.sqoop.export.text.dump_data_on_error=true${sqoop_connect_param_oneline}--export-dir