大数据组件-Sqoop部署及测试

????????‍????博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家????
????擅长领域：Java、大数据、运维、电子
????????如果本文章各位小伙伴们有帮助的话，????关注+????????点赞+????评论+????收藏，相应的有空了我也会回访，互助！！！
????另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！
 

前提在hadoop、hive、Zookeeper、hbase搭建好的环境下进行

修改配置文件

在sqoop根目录下的conf目录中。

1) 重命名配置文件

 $ mv sqoop-env-template.sh sqoop-env.sh

2) 修改配置文件

 sqoop-env.sh

 
 export HADOOP_COMMON_HOME=/opt/module/hadoop
 
 export HADOOP_MAPRED_HOME=/opt/module/hadoop

 
 export HIVE_HOME=/opt/module/hive

 
 export ZOOKEEPER_HOME=/opt/module/zookeeper
 export ZOOCFGDIR=/opt/module/zookeeper
 
 export HBASE_HOME=/opt/module/hbase

3.3 拷贝JDBC驱动

 拷贝jdbc驱动到sqoop的lib目录下，如：
 
 $ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/

3.4 验证Sqoop

 #通过某一个command来验证sqoop配置是否正确：
 
 $ bin/sqoop help
 

 出现一些Warning警告，并伴随着帮助命令的输出：
 
 Available commands:
 
  codegen       Generate code to interact with database records
 
  create-hive-table   Import a table definition into Hive
 
  eval        Evaluate a SQL statement and display the results
 
  export       Export an HDFS directory to a database table
 
  help        List available commands
 
  import       Import a table from a database to HDFS
 
  import-all-tables   Import tables from a database to HDFS
 
  import-mainframe   Import datasets from a mainframe server to HDFS
 
  job         Work with saved jobs
 
  list-databases     List available databases on a server
 
  list-tables      List available tables in a database
 
  merge        Merge results of incremental imports
 
  metastore      Run a standalone Sqoop metastore
 
  version       Display version information

测试Sqoop是否能够成功连接数据库

 $ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password passwd
 
 #出现如下输出：
 
 information_schema
 
 metastore
 
 mysql
 
 oozie
 
 performance_schema

最后

以上就是超级楼房为你收集整理的大数据组件-Sqoop部署及测试的全部内容，希望文章能够帮你解决大数据组件-Sqoop部署及测试所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。