1.简介Sqoop
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
2.Sqoop的特点
Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。
Sqoop的工作流程
1）读取导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop
2）设置job
3）Hadoop执行import命令，开启MR
1 对数据进行切分
2 切分好范围，写入范围
3 读取写入的范围
4）创建RecordReader，从数据库读取数据
5）创建map
6）RecordReader从数据库中一行行读取数据，设置好key，value，交给map
7）运行map
最后
以上就是大胆自行车最近收集整理的关于Sqoop工作流程的全部内容，更多相关Sqoop工作流程内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复