Linux下Sqoop 的安装及job的使用一、安装sqoop 二、sqoop job的使用

74 阅读 0 评论 49 点赞

我是靠谱客的博主发嗲老师，最近开发中收集的这篇文章主要介绍Linux下Sqoop 的安装及job的使用一、安装sqoop 二、sqoop job的使用，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。本实验学习Sqoop的安装和使用，版本是1.4.6。

一、安装sqoop

1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）编辑

2、配置环境变量SQOOP_HOME和PATH并source

3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）

编辑

4、把mysql驱动添加到$SQOOP_HOME/lib下

5、测试与mysql的连接

二、sqoop job的使用

1、创建job

2、查看job

3、查看全部

4、执行job

5、删除job

一、安装sqoop

1、下载sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz、解压（至app）

tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz -C ../app

目录名太长，改名为sqoop-1.4.6（mv）

2、配置环境变量SQOOP_HOME和PATH并source

3、将$SQOOP_HOME/conf下的sqoop-env-template.sh复制一份命名为sqoop-env.sh（cp）

编辑以下内容（这4个属性已经存在，把前面#号去掉，设置对应值，可从.bash_profile 中拷贝）

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.7.1
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.7.1
#set the path to where bin/hbase is available
export HBASE_HOME=/home/hadoop/app/hbase-1.1.5
#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/app/apache-hive-1.2.1-bin

4、把mysql驱动添加到$SQOOP_HOME/lib下

5、测试与mysql的连接

首先启动mysql服务，在前面实验中我们已经把mysql服务设置为开机启动。通过systemctl status mariadb.service可以查看

然后输入以下命令

sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --P

输入mysql 用户root的密码root，能看到mysql下数据库信息就成功了。

二、sqoop job的使用

1、创建job

创建job前先建立隐藏密码文件.mysql.password(该文件路径及名字任意，以.打头是隐藏文件，将密码暴露在外面不安全)

echo -n "root" > .mysql.password

（密码为root）

注意用上面命令写入密码，不能直接在文件中输入。

然后创建job

sqoop job --create job1 
-- import 
--connect jdbc:mysql://localhost:3306/test 
--username root --password-file file:/home/hadoop/.mysql.password 
--table t1 --target-dir /sqoop/t1 
--driver com.mysql.jdbc.Driver -m 1 --check-column id --incremental append --last-value 0--verbose

注意--和import之间有一个空格，--verbose含义是打印命令运行时的详细信息。