sqoop 使用

一、mysql 数据导入到 hdfs
  sqoop                       ##sqoop命令
      import                       ##表示导入
      --connect jdbc:mysql://ip:3306/sqoop    ##告诉jdbc，连接mysql的url
      --username root                                     ##连接mysql的用户名
      --password admin                                   ##连接mysql的密码
      --table mysql1                                        ##从mysql导出的表名称
      --fields-terminated-by 't'                        ##指定输出文件中的行的字段分隔符，默认为逗号“,”
      -m 1                                                       ##复制过程使用1个map作业

二、mysql 数据导入到 hive

1),复制mysql表结构到hive
sqoop
    create-hive-table
    --connect jdbc:mysql://192.168.182.128:3306/test
    --username root
    --password root
    --table user_dfs
    --hive-table users
    --fields-terminated-by 't'

2),导入mysql的数据到hive中
sqoop  ##sqoop命令
    import  ##表示导入
    --connect jdbc:mysql://192.168.182.128:3306/test  ##告诉jdbc，连接mysql的url
    --username root  ##连接mysql的用户名
    --password root  ##连接mysql的密码
    --table user_dfs  ##从mysql导出的表名称
    --hive-import   ##把mysql表数据复制到hive空间中。如果不使用该选项，意味着复制到hdfs中  
    --hive-table users   ##hive 表名
    --m 1   ##复制过程使用1个map作业
    --fields-terminated-by 't' ##指定输出文件中的行的字段分隔符
三,hive 数据导入mysql
sqoop ##sqoop命令
    export  ##表示导入
    --connect jdbc:mysql://192.168.182.128:3306/test  ##告诉jdbc，连接mysql的url
    --username root  ##连接mysql的用户名
    --password root  ##连接mysql的密码
    --table user_hive  ##从mysql导出的表名称
    --export-dir /user/hive/warehouse/users/part-m-00000 ##实际上是把hdfs中的数据导入到mysql中
    --m 1   ##复制过程使用1个map作业
    --input-fields-terminated-by 't' ##指定输出文件中的行的字段分隔符