概述
Sqoop安装步骤
- 一、准备工作
- 二、安装步骤
- (一)解压
- (二)拷贝资源
- (三)配置文件
- (三)环境变量配置
- 三、基本操作
- 四、Sqoop操作一些操作
- 五、相关报错及解决方法
前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载链接 | 提取码:cwo1 |
---|
一、准备工作
-
安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)
-
启动一台虚拟机,并连接至Xshell、Xftp(连接方法)
-
安装、搭建好Hadoop、HBase、Hive、Zookeeper,并做好免密登录
-
建议在虚拟机里单独创建两个文件夹(download、software),用来存放安装包和软件
-
需要将 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 文件,上传至 download 目录。或者在shell窗口内,输入命令:
yum install lrzsz
,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内 -
建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件
二、安装步骤
(一)解压
1.输入命令:cd /opt/download
、ls
,查看是否存在 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 这个文件。
2.输入命令:tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/software/hadoop
,将文件解压到 software 下的 hadoop 文件夹里。
3.解压完毕后,输入命令:cd /opt/software/hadoop/
,进入到 software 下的 hadoop 目录里,输入命令:ls
,查看该目录下是否存在 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 这个文件。
4. 输入命令:mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz/ sqoop146
,将解压后的文件重命名为 sqoop146 。
(二)拷贝资源
1.mysql驱动jar
这个 jar 包的链接在 Hadoop安装方法 里能找到。
cp /opt/download/mysql-connector-java-5.1.32.jar /opt/software/hadoop/sqoop146/lib/
2.java-json.jar
把这个 jar 包下载好,并放到 lib 下
java-json.jar 下载链接 | 提取码:173h |
---|
3.hadoop的3个jar
cp /opt/software/hadoop/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/
cp /opt/software/hadoop/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/
cp /opt/software/hadoop/hadoop260/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/
(三)配置文件
1.因为 Sqoop 需要与各种资源相关联,所以要找到各个文件的根目录。输入命令:cd ../conf/
,找到名为 sqoop-env-template.sh 的文件,输入命令:cp sqoop-env-template.sh sqoop-env.sh
2 输入命令:vi sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/software/hadoop/hadoop260
export HADOOP_MAPRED_HOME=/opt/software/hadoop/hadoop260/share/hadoop/mapreduce
export HBASE_HOME=/opt/software/hadoop/hbase120
export HIVE_HOME=/opt/software/hadoop/hive110
export ZOOCFGDIR=/opt/software/hadoop/zk345
(三)环境变量配置
输入命令:vi /etc/profile
,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile
,重新载入配置文件。
#SQOOP
export SQOOP_HOME=/opt/software/hadoop/sqoop146
export PATH=$SQOOP_HOME//bin:$PATH
三、基本操作
1.启动Hadoop相关服务、Hive相关服务。
2.测试Sqoop是否配置成功
输入命令:sqoop list-databases --connect jdbc:mysql://192.168.59.200:3306 --username root --password root
,如果成功则会出现图7的相关内容。
四、Sqoop操作一些操作
Sqoop一些操作
五、相关报错及解决方法
- 未出现图7内容的相关报错
解决办法: 输入命令:vi /etc/profile
,检查配置文件是否正确填写。
- 如图
解决办法: 在 conf 文件目录下输入命令:vi sqoop-env.sh
,
- Permission的权限不足
解决办法: 当处于新手阶段时,建议将hdfs上的各个文件的权限全都改成 777 ,输入命令:hdfs dfs -chmod -R 777 /
,待命令行跳转,再进入 beeline 里插入相关内容。
最后
以上就是野性猫咪为你收集整理的[ 安装 ] Sqoop的安装步骤及有关操作!一、准备工作二、安装步骤三、基本操作四、Sqoop操作一些操作五、相关报错及解决方法的全部内容,希望文章能够帮你解决[ 安装 ] Sqoop的安装步骤及有关操作!一、准备工作二、安装步骤三、基本操作四、Sqoop操作一些操作五、相关报错及解决方法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复