大数据之Sqoop快速入门一篇就够了一、Sqoop概述二、Sqoop工作原理三、Sqoop安装四、Sqoop常用命令

101 阅读 0 评论 67 点赞

我是靠谱客的博主强健含羞草，最近开发中收集的这篇文章主要介绍大数据之Sqoop快速入门一篇就够了一、Sqoop概述二、Sqoop工作原理三、Sqoop安装四、Sqoop常用命令，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、Sqoop概述

二、Sqoop工作原理

三、Sqoop安装

四、Sqoop常用命令

一、Sqoop概述

Sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具，可以将关系型数据库（MySQL，Oracle等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导出到关系型数据库中。

二、Sqoop工作原理

Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现抽取、转换、加载。MapReduce天生的特性保证了并行化和高容错率，而且相比Kettle等传统ETL工具，任务跑在Hadoop集群上，减少了ETL服务器资源的使用情况。在特定场景下，抽取过程会有很大的性能提升。

三、Sqoop安装

sqoop安装与配置_@Heartworm的博客-CSDN博客_sqoop的安装与配置安装包下载地址1.上传sqoop到master的/home/hadoop目录2.把sqoop压缩文件解压到/usr/local中，使用以下命令：sudo tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/localbin后面的下划线是两个3. 进入/usr/local目录，使用以下命令：cd /usr/local4.重命名sqoop：sudo mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop5.https://blog.csdn.net/weixin_57821489/article/details/121792141

四、Sqoop常用命令

首先我们可以使用sqoop help命令来查看sqoop支持哪些命令

[root@master dev]# sqoop help
21/01/15 18:53:02 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.
[root@master dev]#

如果不知道使用方式，可以使用sqoop help import 的命令来查看某条具体命令的使用方式

[root@master dev]# sqoop help import

示例：

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456

#也可以这么写  表示命令未完待续，下一行还有命令参数，否则遇到回车换行就会自动提交执行
sqoop list-databases 
--connect jdbc:mysql://localhost:3306/ 
--username root 
--password 123456

未完待续....