Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析1. Sqoop的简单介绍2. sqoop1与sqoop2架构对比3. Sqoop原理4. Sqoop的安装过程

89 阅读 0 评论 59 点赞

我是靠谱客的博主美丽薯片，最近开发中收集的这篇文章主要介绍Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析1. Sqoop的简单介绍2. sqoop1与sqoop2架构对比3. Sqoop原理4. Sqoop的安装过程，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客主页：https://buwenbuhuo.blog.csdn.net/

此篇为大家带来的是Sqoop的简单介绍及安装解析。

所需文档等博主已经打包到百度云，如有需要请自行提取：
链接：https://pan.baidu.com/s/1QVJMj1JHQR80UDfqOGrTYw
提取码：pnxs

1. Sqoop的简单介绍

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

2. sqoop1与sqoop2架构对比

1. sqoop1架构
sqoop2架构

3. Sqoop原理

将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

4. Sqoop的安装过程

1. 上传并解压

1. 上传文档
2. 解压sqoop安装包到指定目录

[bigdata@hadoop002 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

// 修改文件夹名称
[bigdata@hadoop002 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2. 修改配置文件

Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。

1. 重命名配置文件

[bigdata@hadoop002 conf]$ mv sqoop-env-template.sh sqoop-env.sh

2. 修改配置文件

[bigdata@hadoop002 conf]$ vim sqoop-env.sh 


export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase

3. 拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下

// 声明： 驱动在/opt/software/mysql-libs/mysql-connector-java-5.1.27/

[bigdata@hadoop002 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

4. 验证Sqoop

我们可以通过某一个command来验证sqoop配置是否正确

[bigdata@hadoop002 sqoop]$ bin/sqoop help

5. 测试Sqoop是否能够成功连接数据库

[bigdata@hadoop002 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306 --username root --password 199712

本次的分享就到这里了,

好书不厌读百回，熟读课思子自知。而我想要成为全场最靓的仔，就必须坚持通过学习来获取更多知识，用知识改变命运，用博客见证成长，用行动证明我在努力。
如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞” “评论”“收藏”一键三连哦！听说点赞的人运气不会太差，每一天都会元气满满呦！如果实在要白嫖的话，那祝你开心每一天，欢迎常来我博客看看。
码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！