Hadoop离线_Sqoop的介绍及安装

介绍

1.概述

Sqoop是Apache开源提供过的一款Hadoop和关系数据库服务器之间传送数据的工具。从关系数据库到Hadoop的数据库存储系统（HDFS,HIVE,HBASE等）称为导入，从Hadoop的数据库存储系统到关系数据库称为导出。
Sqoop主要是通过MapReduce的InputFormat和OutputFormat来实现数据的输入和输出，底层执行的MapReduce任务只有Map阶段，没有Reduce阶段，也就是说只是单纯地将数据从一个地方抽取到另一个地方。

2.版本

Sqoop 1.x 不用安装，解压就能用

Sqoop 2.x 架构发生了变化，引入了一个服务端，可以通过代码提交sqoop的任务

安装

1.Sqoop安装

1.下载并解压
下载地址：http://archive.cloudera.com/cdh5/cdh/5/
这里使用的是sqoop1的版本，并且要和hadoop版本相对应，都是5.14.0
将安装包上传到/export/softwares目录中
tar -zxvf sqoop-1.4.6-cdh5.14.0.tar.gz -C ../servers/ 解压

2.修改配置文件
cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf/
cp sqoop-env-template.sh sqoop-env.sh sqoop-env-template.sh是sqoop给的配置模板，所以最好复制一份出来
vim sqoop-env.sh
因为这里只用到Hadoop和Hive，所以只需要配置这两个的路径即可

export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0

3.加入额外的依赖包
需要在Sqoop的lib目录下加入一个mysql的依赖包，一个java-json的依赖包，否则就会报错

4.启动：
cd /export/servers/sqoop-1.4.6-cdh5.14.0
bin/sqoop-version

最后

以上就是着急斑马为你收集整理的Hadoop离线_Sqoop的介绍及安装的全部内容，希望文章能够帮你解决Hadoop离线_Sqoop的介绍及安装所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。