sqoop安装和简单使用

62 阅读 0 评论 41 点赞

我是靠谱客的博主舒适盼望，最近开发中收集的这篇文章主要介绍sqoop安装和简单使用，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

sqoop是一个数据传输工具，主要用于在Hadoop和关系数据库，数据仓库，NoSQL之间传输数据．通过sqoop可以方便的将数据从关系数据库导入HDFS,HBase,Hive或者从HDFS中导出到关系数据库中．
sqoop通过map任务来传输数据，map负责加载，转换，然后存储到HDFS,HBase,Hive中．Sqoop是基于客户端模式．只需要一台机子即可．Sqoop只提交一个map作业，数据的传输和转化都是使用Mapper来完成的，可通过YARN查看状态．
前提java 和hadoop已经安装了．
１．下载sqoop并解压
２．添加环境变量

vim .bashrc
export SQOOP_HOME=/../
export PATH=$ SQOOP_HOME/bin:$PATH

３．修改配置文件$SQOOP_HOME/conf/sqoop-env.sh

cd $SQOOP_HOME/conf/sqoop-env-template.sh $SQOOP_HOME/conf/sqoop-env.sh
vim $SQOOP_HOME/conf/sqoop-env.sh
export HADOOP_HOME=/.../
export HADOOP_MAPRED_HOME=/.../(hadoop 安装目录)
export HIVE_HOME=/.../

４．添加MySQL jar 包到下

cp mysql-connector-java-xx-.bin.jar $SQOOP_HOME/lib/

5.检测
sqoop version

Sqoop 导入MySQL数据到HDFS

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table tableName -m 1 --delete-target-dir

–connect 指定要导入数据的数据库
–username　数据库中的用户名，密码
–password　密码
–table 需要导入的数据表
-m　并行度，默认是4，并行度决定最终输出到hdfs中文件个数
–delete-target-dir　因为sqoop是使用map操作，不能有已经存在的文件，所以如果有则删除
sqoop默认的导入路径是/user/用户名/表名
sqoop默认从关系型数据库中导入数据到hdfs的分隔符是逗号

Sqoop 导入HDFS数据到MySQL

导出前需要创建对应的导出表使其结构与导出数据对应．

sqoop export --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table tableName --columns “colnames1, colnames2” --export-dir /data --fields-terminated-by ‘t’ --lines-terminated-by ‘n’ -m 1

–connect 指定要导入数据的数据库
–username　数据库中的用户名，密码
–password　密码
–table 需要导入的数据表
–export-dir 导出目录
–fields-terminated-by　行分隔符
–lines-terminated-by 　列分隔符
-m　并行度，默认是4，并行度决定最终输出到hdfs中文件个数
-Dsqoop.export.records.pre.statement 批量导入，一次导入多少行

Sqoop 导入MySQL数据到Hive

将MySQL数据导入到Hive的过程是将MySQL的数据导入HDFS，在用load函数将HDFS的文件加载到Hive中．

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password root --table tableName -m 1 --delete-target-dir　--hive-import --create-hive-table --hive-table tableInportName