1. Sqoop介绍

1.1 Sqoop简介

Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。

1.2 Sqoop原理

将导入或导出命令翻译成MapReduce程序来实现。在翻译出的MapReduce中主要是对InputFormat和OutputFormat进行定制。

2. Sqoop安装配置

1. 下载Sqoop安装包。

2. 解压并重命名。

   tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/
   mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7
   

3. 修改配置文件。

   cd sqoop-1.4.7/conf
   mv sqoop-env-template.sh sqoop-env.sh
   vim sqoop-env.sh
   

   export HADOOP_COMMON_HOME=/usr/local/hadoop-2.8.4
   export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.8.4
   export HIVE_HOME=/usr/local/hive-3.1.2
   export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.10
   export ZOOCFGDIR=/usr/local/zookeeper-3.4.10/conf
   

4. 上传JDBC驱动。

   cp /usr/local/hive-3.1.2/lib/mysql-connector-java-5.1.38.jar /usr/local/sqoop-1.4.7/lib/
   

5. 配置环境变量。

   vim /etc/profile
   export SQOOP_HOME=/usr/local/sqoop-1.4.7
   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$PATH
   source /etc/profile
   

6. 验证是否成功。

   sqoop version
   # 会有警告，注释掉bin/configure-sqoop中相应内容即可消除警告，这里先不注释了。
   

7. 测试连接MySQL数据库是否成功。

   sqoop list-databases --connect jdbc:mysql://topnpl200:3306/ --username root --password 666***
   
   # 出现如下输出，说明成功：
   information_schema
   metastore
   mysql
   performance_schema
   

   报错：
   Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
   解决：
   在apache 上下载commons-lang-2.6.jar包并上传到lib下即可，下载地址：
   http://mirrors.tuna.tsinghua.edu.cn/apache//commons/lang/binaries/commons-lang-2.6-bin.zip

最后

以上就是单纯大侠为你收集整理的Sqoop（一）—— Sqoop安装配置1. Sqoop介绍2. Sqoop安装配置的全部内容，希望文章能够帮你解决Sqoop（一）—— Sqoop安装配置1. Sqoop介绍2. Sqoop安装配置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。