我是靠谱客的博主 开朗钢笔,最近开发中收集的这篇文章主要介绍sqoop2安装启动,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

(1)安装环境

         操作系统:Linux(centos6.5)

         JDK版本:1.7.0_45

         Hadoop版本:hadoop2.6.0

         Sqoop2版本:sqoop-1.99.4-bin-hadoop200

         hadoop安装目录:/usr/local/hadoop/hadoop-2.2.0

         Sqoop2安装目录:/usr/local/sqoop/sqoop-1.99.4-bin-hadoop200

         Hadoop和Sqoop都是同一个用户hadoop下面,hadoop用户的的家目录:/home/hadoop


       (2)修改Sqoop2的配置文件

          1、首先修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/sqoop.properties指定hadoop的配置文件所属路径。

          将原来的如下配置:

  1. # Hadoop configuration directory  

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/  

             修改为:

  1. # Hadoop configuration directory  

  2. org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop/hadoop-2.6.0/etc/hadoop/  

               2、修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/catalina.properties。

              这里即时把/home/hadoop/hadoop-2.2.0/share/hadoop下全部的*.jar包加入到sqoop2的类路径中去。

          将原来的如下配置:


  1. common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar  

             修改为:


  1. common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/common/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/hdfs/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/tools/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/hadoop-2.6.0/share/hadoop/httpfs/tomcat/lib/*.jar


       (3)修改环境变量

直接修改~/.bashrc在文件末尾追加如下内容即可:   

  1. export SQOOP_HOME=/usr/local/sqoop/sqoop-1.99.4-bin-hadoop200    

  2. export PATH=$SQOOP_HOME/bin:$PATH    

  3. export CATALINA_HOME=$SQOOP_HOME/server    

  4. export LOGDIR=$SQOOP_HOME/logs  


  当然完成上述修改后需要在hadoop用户下执行命令来让配置即可生效:


启停sqoop-server:

$SQOOP2_HOME/bin/sqoop.sh server start
$SQOOP2_HOME/bin/sqoop.sh server stop
或者
$SQOOP2_HOME/bin/sqoop2-server start
$SQOOP2_HOME/bin/sqoop2-server stop

验证是否启动成功:

方式一:jps查看进程: Bootstrap 
方式二:http://hadoop000:12000/sqoop/version

方式三:wget -qO - hadoop000:12000/sqoop/version

启动sqoop客户端:

$SQOOP2_HOME/bin/sqoop.sh client
或者
$SQOOP2_HOME/bin/sqoop2-shell

 

为客户端配置服务器:

sqoop:000> set server --host hadoop000 --port 12000 --webapp sqoop

查看服务器端信息:

sqoop:000> show server --all




转载于:https://blog.51cto.com/wyshnc/1685466

最后

以上就是开朗钢笔为你收集整理的sqoop2安装启动的全部内容,希望文章能够帮你解决sqoop2安装启动所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(42)

评论列表共有 0 条评论

立即
投稿
返回
顶部