官网地址:Sqoop

sqoop介绍

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。
来自于Apache软件基金会提供。
Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。
Hadoop生态系统包括：HDFS、Hive、Hbase等
RDBMS体系包括：Mysql、Oracle、DB2等
Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

站在Apache立场看待数据流转问题，可以分为数据的导入导出:
Import：数据导入。RDBMS----->Hadoop
Export：数据导出。Hadoop---->RDBMS

sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境
最新稳定版： 1.4.6

解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C  /export/servers/
cd /export/servers/
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

配置环境变量

cd /etc/profile.d/
vim sqoop.sh
export SQOOP_HOME=/export/servers/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
-------------刷新-----------------
source /etc/profile

配置成功

配置文件修改

cd $SQOOP_HOME/conf   or  cd /export/servers/sqoop-1.4.6/conf/
mv sqoop-env-template.sh sqoop-env.sh
--------------------------------------------------------------
vi sqoop-env.sh
#Set path to where bin/hadoop is available
#hadoop的环境信息必须
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
#Set path to where hadoop-*-core.jar is available
#hadoop的mr存放目录的配置信息必须
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
#set the path to where bin/hbase is available
#hbase的配置信息非必须
export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0
#Set the path to where bin/hive is available
#hive的配置信息非必须
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
------------------------------------------------------------
加入mysql的jdbc驱动包
cp /hive/lib/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/
---------------------------------------------------------------
验证启动
bin/sqoop list-databases 
 --connect jdbc:mysql://localhost:3306/ 
 --username root --password hadoop
本命令会列出所有mysql的数据库。
到这里，整个Sqoop安装工作完成。

如能帮助到你或对大数据有兴趣的可以关注一下,希望能点个赞支持一下谢谢!

最后

以上就是勤恳钢铁侠为你收集整理的Apache Sqoop : 介绍以及安装sqoop介绍sqoop安装的全部内容，希望文章能够帮你解决Apache Sqoop : 介绍以及安装sqoop介绍sqoop安装所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。