大数据平台——sqoop的安装与配置

92 阅读 0 评论 61 点赞

我是靠谱客的博主饱满咖啡豆，最近开发中收集的这篇文章主要介绍大数据平台——sqoop的安装与配置，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Sqoop安装

安装前提是已经具备Java和Hadoop的环境
一，安装
1.下载并解压
1）下载地址：http：//mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2)解压安装包

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.修改配置文件
Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录。
1）切换到sqoop，，，下面的conf，改个sqoop-env.sh名字

mv sqoop-env-template.sh sqoop-env.sh
2）打开sqoop-env.sh,添加东西
vi sqoop-env.sh
添加：
export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.8.5

export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.8.5

export HBASE_HOME=/usr/hadoop/hbase-1.3.6

export HIVE_HOME=/usr/hadoop/apache-hive-1.2.2-bin

export ZOOCFGDIR=/usr/hadoop/zookeeper-3.4.6

export ZOOKEEPER_HOME=/usr/hadoop/zookeeper-3.4.6
保存退出

3)配置环境
vi /etc/profile

export SQOOP_ HOME=/usr/hadoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

export PATH= $P A T H :$ SQOOP_HOME/bin

source /etc/profile

4）拷贝JDBC驱动
拷贝jdbc驱动到ssqoop的lib目录下，如：
cp mysql-connector-java-5.1.48-bin.jar /usr/hadoop sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

5)验证Sqoop
我们可以通过某一个command来验证sqoop配置是否正确：
sqoop version
出现一些警告，并伴随着帮助命令的输出：

6）测试Sqoop是否能够成功连接数据库，执行命令
sqoop help list-databases --connect jdbc:mysql://master:3306/ --username root --password 8811

二，Sqoop的简单使用案例
1）导入数据
在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS,HIVE,HBASE）中传输数据，叫做：导入，即使用import关键字。
先打开mysql服务：service mysqld start
查看状态：service mysqld status

开始

1、 RDBMS 到 HDFS

确定 Mysql 服务开启正常

2）在 Mysql 中新建一张一个test库，并插入一些数据

create database test;

使用test库
use test;

3)在test中创建表并插入4条数据
create table t_user(id int,name varchar(20),age int);

insert into t_user values(1,‘rod’,20);

insert into t_user values(2,‘tom’,21);

insert into t_user values(3,‘lucy’,22);

insert into t_user values(4,‘jet’,23);
4)查看表结构和表中的数据
1查结构desc t_user;
2查数据select *from t_user;
在关系型数据库的表和数据准备好后，就可以编写实例了。
在/usr/hadoop下面创建一个目录sqoopcrefile，在此目录下创建一个文件，在这个文件中配置数据导入的相关信息。
import

jdbc:mysql://localhost:3306/text
–username
root
–password
8811
–table
t_user
–columns
id,name,age
–where
id>0
–target-dir
hdfs://master:9000/sqoop
–delete-target-dir
-m
1
–as-textfile
–null-string