【Sqoop篇】----Sqoop从搭建到应用案例

一、前述

今天开始讲解Sqoo的用法搭建和使用。Sqoop其实功能非常简单。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

二、 配置

flume配置很简单：

第一步：将flume-env.sh.template模板文件改名为flume-env.sh文件

第二步 ：更改里面的JAVA_HOME

第三步：配置环境变量

三、 使用

官方参考手册：http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_connecting_to_a_database_server

举几个简单例子：

导入：

案例一（步骤是Mysql---HDFS)的顺序）：

import
--connect
jdbc:mysql://node3:3306/test
--username
root
--password
123
--as-textfile
--columns
id,name,msg
--table
psn
--delete-target-dir
--target-dir
/sqoop/data
-m
1
可以将上述命令定义在一个脚本里面：

使用如下命令：
sqoop --options-file sqoop1

 案例二（步骤是Mysql---Hive)的顺序）：实际上就是Mysql-HDFS-Hive里面

 

import
--connect
jdbc:mysql://node3/test
--username
root
--password
123
--as-textfile
--query
'select id, name, msg from psn where id like "1%" and $CONDITIONS'
--delete-target-dir
--target-dir
/sqoop/tmp  
-m
1
--hive-home
/home/hive-1.2.1
--hive-import
--create-hive-table
--hive-table
t_test

 PS：先导入到hdfs上的一个临时目录，然后再导入到Hive的数据管理目录/home/hive-1.2.1。

and $CONDITIONS是一个查询规则，必须加上。

 

 

导出：
案例一。将HDFS上的数据导出到Mysql中去
export
--connect
jdbc:mysql://node3/test
--username
root
--password
123
-m
1
--columns
id,name,msg
--export-dir
/sqoop/data
--table
h_psn