sqoop导出hdfs数据到mysql_《Hadoop实战手册》一1.5 使用Sqoop从HDFS导出数据到MySQL

69 阅读 0 评论 46 点赞

我是靠谱客的博主陶醉玫瑰，最近开发中收集的这篇文章主要介绍sqoop导出hdfs数据到mysql_《Hadoop实战手册》一1.5 使用Sqoop从HDFS导出数据到MySQL，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.5节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.5 使用Sqoop从HDFS导出数据到MySQL

Sqoop是Apache基金会下的一个项目，是庞大Hadoop生态圈中的一部分。在很多方面Sqoop和distcp很相似(见1.3节)。这两个工具都是构建在MapReduce之上的，利用了MapReduce的并行性和容错性。与集群间的数据复制不同，Sqoop设计通过JDBC驱动连接实现Hadoop集群与关系数据库之间的数据复制。

它的功能非常广泛，本节将以网络日志条目为例展示如何使用Sqoop从HDFS导入数据到MySQL数据库。

准备工作

本例使用Sqoop V1.3.0版本。

在本节假设你已经启动了一个MySQL实例，并且能够访问Hadoop集群。mysql.user表配置了你运行Sqoop的那台机器上被允许连接的用户。访问http://dev.mysql.com/doc/refman/5.5/en/installing.html获取更多关于MySQL安装与配置的相关信息。

将MySQL JDBC驱动包复制到$SQOOP_HOME/libs目录下。该驱动包可以从http://dev.mysql.com/downloads/connector/j/ 下载。

按照1.1节介绍的导入weblog_entires.txt文件到HDFS的方式操作。

操作步骤

完成以下步骤实现将HDFS数据导出到MySQL表中。

1．在MySQL实例中创建一个新数据库：

CREATE DATABASE logs;

2．创建表weblogs_from_hdfs：

USE logs;

CREATE TABLE weblogs_from_hdfs (

md5 VARCHAR(32),

url VARCHAR(64),

request_date DATE,

request_time TIME,

ip VARCHAR(15)

);

3．从HDFS导出weblog_entries.txt文件到MySQL：

sqoop export -m 1 --connect jdbc:mysql://:/logs --username hdp_usr

--password test1 --table weblogs_from_hdfs --export-dir /data/weblogs/05102012

--input-fields-terminated-by 't' --mysql-delmiters

输出结果如下：

INFO mapreduce.ExportJobBase: Beginning export of weblogs_from_

hdfs

input.FileInputFormat: Total input paths to process : 1

mapred.JobClient: Running job: job_201206222224_9010

INFO mapred.JobClient: Map-Reduce Framework

INFO mapred.JobClient: Map input records=3000

INFO mapred.JobClient: Spilled Records=0

INFO mapred.JobClient: Total committed heap usage

(bytes)=85000192

INFO mapred.JobClient: Map output records=3000

INFO mapred.JobClient: SPLIT_RAW_BYTES=133

INFO mapreduce.ExportJobBase: Transferred 248.3086 KB in 12.2398

seconds (20.287 KB/sec)

INFO mapreduce.ExportJobBase: Exported 3000 records.

工作原理

Sqoop连接数据库的JDBC驱动可使用-connect参数声明，并从$SQOOP_HOME/libs目录中加载相应的包。其中$SQOOP_HOME为Sqoop安装的绝对路径。--username和--password选项用于验证用户访问MySQL实例的权限。mysql.user表必须包含Hadoop集群每个节点的主机域名以及相应的用户名，否则Sqoop将会抛出异常，表明相应的主机不允许被连接到MySQL服务器。

mysql> USE mysql;

mysql> select host, user from user;

+-----------------+------------+

| user | host |

+-----------------+------------+

| hdp_usr | hdp01 |

| hdp_usr | hdp02 |

| hdp_usr | hdp03 |

| hdp_usr | hdp04 |

| root | 127.0.0.1 |

| root | ::1 |

| root | localhost |

+-----------------+------------+

7 rows in set (1.04 sec)

在这个例子中，我们使用hdp_usr用户连接到MySQL服务器。我们的集群拥有4台机器，即hdp01、hdp02、hdp03和hdp04。

--table参数决定了HDFS导出的数据将存储在哪个MySQL表中。这个表必须在执行Sqoop export语句之前创建好。Sqoop通过表的元数据信息、列数量以及列类型来校验HDFS需要导出目录中的数据并生成相应的插入语句。举个例子，导出作业可以被想象为逐行读取HDFS的weblogs_entries.txt文件并产生以下输出：

INSERT INTO weblogs_from_hdfs

VALUES('aabba15edcd0c8042a14bf216c5', '/jcwbtvnkkujo.html', '2012-05- 10',

'21:25:44', '148.113.13.214');

INSERT INTO weblogs_from_hdfs

VALUES('e7d3f242f111c1b522137481d8508ab7', '/ckyhatbpxu.html', '2012- 05-10',

'21:11:20', '4.175.198.160');

INSERT INTO weblogs_from_hdfs

VALUES('b8bd62a5c4ede37b9e77893e043fc1', '/rr.html', '2012-05-10', '21:32:08',

'24.146.153.181');

...

Sqoop export默认情况下是创建新增语句。如果--update-key参数被设置了，则将是创建更新语句。如果前面的例子使用了参数--update-key md5那么生成的Sql代码将运行如下：

UPDATE weblogs_from_hdfs SET url='/jcwbtvnkkujo.html', request_ date='2012-

05-10'request_time='21:25:44'

ip='148.113.13.214'WHERE md5='aabba15edcd0c8042a14bf216c5'

UPDATE weblogs_from_hdfs SET url='/jcwbtvnkkujo.html', request_ date='2012-05-

10' request_time='21:11:20' ip='4.175.198.160' WHERE md5='e7d3f242f111c1b

522137481d8508ab7'

UPDATE weblogs_from_hdfs SET url='/jcwbtvnkkujo.html', request_ date='2012-

05-10'request_time='21:32:08' ip='24.146.153.181' WHERE md5='b8bd62a5c4ede37b

9e77893e043fc1'

如果--update-key设置的值并没找到，可以设置--update-mode为allowinsert允许新增这行数据。

-m参数决定将配置几个mapper来读取HDFS上文件块。每个mapper各自建立与MySQL服务器的连接。每个语句将会插入100条记录。当完成100条语句也就是插入10000条记录，将会提交当前事务。一个失败的map任务，很可能导致数据的不一致，从而出现插入冲突数据或者插入重复数据。这种情况可以通过使用参数--staging-table来解决。这会促使任务将数据插入一个临时表，等待一个事务完成再将数据从临时表复制到--table参数配置的表中。临时表结构必须与最终表一致。临时表必须是一个空表否则需要配置参数--clear-staging-table。