我是靠谱客的博主 野性猫咪,最近开发中收集的这篇文章主要介绍[ 安装 ] Sqoop的安装步骤及有关操作!一、准备工作二、安装步骤三、基本操作四、Sqoop操作一些操作五、相关报错及解决方法,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

Sqoop安装步骤

  • 一、准备工作
  • 二、安装步骤
    • (一)解压
    • (二)拷贝资源
    • (三)配置文件
    • (三)环境变量配置
  • 三、基本操作
  • 四、Sqoop操作一些操作
  • 五、相关报错及解决方法


  前言:下文中的IP地址、文件路径、主机名等,请根据您自己的实际情况,进行修改和配置。

sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 下载链接提取码:cwo1

一、准备工作

  • 安装一台虚拟机(★★★ 虚拟机 CentOS 7的安装步骤 ★★★)

  • 启动一台虚拟机,并连接至Xshell、Xftp(连接方法)

  • 安装、搭建好Hadoop、HBase、Hive、Zookeeper,并做好免密登录

  • 建议在虚拟机里单独创建两个文件夹(downloadsoftware),用来存放安装包和软件

  • 需要将 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 文件,上传至 download 目录。或者在shell窗口内,输入命令:yum install lrzsz,待加载完毕后可以直接将Windows下的文件拖拽至shell窗口内

  • 建议在 software 目录下新建一个子目录 hadoop ,用来存放 hadoop 生态圈的相关软件

二、安装步骤

(一)解压

  1.输入命令:cd /opt/downloadls,查看是否存在 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 这个文件。

在这里插入图片描述

  2.输入命令:tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/software/hadoop,将文件解压到 software 下的 hadoop 文件夹里。

在这里插入图片描述

  3.解压完毕后,输入命令:cd /opt/software/hadoop/,进入到 software 下的 hadoop 目录里,输入命令:ls,查看该目录下是否存在 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 这个文件。

在这里插入图片描述

  4. 输入命令:mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz/ sqoop146,将解压后的文件重命名为 sqoop146

在这里插入图片描述

(二)拷贝资源

1.mysql驱动jar

  这个 jar 包的链接在 Hadoop安装方法 里能找到。

cp /opt/download/mysql-connector-java-5.1.32.jar /opt/software/hadoop/sqoop146/lib/

2.java-json.jar

  把这个 jar 包下载好,并放到 lib 下

java-json.jar 下载链接提取码:173h

3.hadoop的3个jar

cp /opt/software/hadoop/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/

cp /opt/software/hadoop/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/

cp /opt/software/hadoop/hadoop260/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar /opt/software/hadoop/sqoop146/lib/

(三)配置文件

1.因为 Sqoop 需要与各种资源相关联,所以要找到各个文件的根目录。输入命令:cd ../conf/,找到名为 sqoop-env-template.sh 的文件,输入命令:cp sqoop-env-template.sh sqoop-env.sh

2 输入命令:vi sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/software/hadoop/hadoop260

export HADOOP_MAPRED_HOME=/opt/software/hadoop/hadoop260/share/hadoop/mapreduce

export HBASE_HOME=/opt/software/hadoop/hbase120

export HIVE_HOME=/opt/software/hadoop/hive110

export ZOOCFGDIR=/opt/software/hadoop/zk345

在这里插入图片描述

(三)环境变量配置

  输入命令:vi /etc/profile,进入配置文件,输入下方命令,进行配置,配置完毕后保存并退出,输入命令:source /etc/profile,重新载入配置文件。

#SQOOP
export SQOOP_HOME=/opt/software/hadoop/sqoop146
export PATH=$SQOOP_HOME//bin:$PATH

在这里插入图片描述

三、基本操作

  1.启动Hadoop相关服务、Hive相关服务。

  2.测试Sqoop是否配置成功
  输入命令:sqoop list-databases --connect jdbc:mysql://192.168.59.200:3306 --username root --password root,如果成功则会出现图7的相关内容。

在这里插入图片描述

四、Sqoop操作一些操作

  Sqoop一些操作

五、相关报错及解决方法

  • 未出现图7内容的相关报错

在这里插入图片描述

解决办法: 输入命令:vi /etc/profile,检查配置文件是否正确填写。

  • 如图

在这里插入图片描述

解决办法:conf 文件目录下输入命令:vi sqoop-env.sh

  • Permission的权限不足

解决办法: 当处于新手阶段时,建议将hdfs上的各个文件的权限全都改成 777 ,输入命令:hdfs dfs -chmod -R 777 /,待命令行跳转,再进入 beeline 里插入相关内容。

最后

以上就是野性猫咪为你收集整理的[ 安装 ] Sqoop的安装步骤及有关操作!一、准备工作二、安装步骤三、基本操作四、Sqoop操作一些操作五、相关报错及解决方法的全部内容,希望文章能够帮你解决[ 安装 ] Sqoop的安装步骤及有关操作!一、准备工作二、安装步骤三、基本操作四、Sqoop操作一些操作五、相关报错及解决方法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(55)

评论列表共有 0 条评论

立即
投稿
返回
顶部