SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
1.把数据从mysql导入到hdfs(默认是/user/<username>)中,使用sqoop import命令
sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive --username root --password admin --table TBLS --fields-terminated-by 't'
2.把数据从mysql导入到hdfs中,处理掉null的字段,把null字段使用**来代替,注意不能使用--来代替null
sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive --username root --password admin --table TBLS --fields-terminated-by 't' --null-string '**'
3.按照1和2放的方式进行数据导入,hadoop会默认分配多个map来执行,最终数据导入到多个目录下,可以设置使用一个map来导入数据,讲数据导入到hdfs中同一目录下
sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive --username root --password admin --table TBLS --fields-terminated-by 't' --null-string '**' -m 1
4.按照1,2,3的方式进行数据导入,不是追加数据的方式,如果原来已经在hdfs上存在了目录,则需要删除原目录,再导入,使用append命令可以实现追加
sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive --username root --password admin --table TBLS --fields-terminated-by 't' --null-string '**' -m 1 --append
5.将数据导入到hive中
sqoop import --connect jdbc:mysql://192.168.80.100:3306/hive --username root --password admin --table TBLS --fields-terminated-by 't' --null-string '**' -m 1 --append --hive-import
最后
以上就是纯真水壶最近收集整理的关于sqoop导入数据命令实现的全部内容,更多相关sqoop导入数据命令实现内容请搜索靠谱客的其他文章。
发表评论 取消回复