我是靠谱客的博主 想人陪保温杯,最近开发中收集的这篇文章主要介绍sqoop安装(linux)一、前期准备二、安装三、测试与mysql的连接,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

一、前期准备

  1. 安装好hadoop伪分布

  1. 安装好MySQL

  1. 下载sqoop压缩文件

实验环境:

实验环境

版本

CentOS

6.5

MySQL

5.7.37

hadoop

3.3.0

sqoop

1.4.7

sqoop1.4.7 下载链接:https://pan.baidu.com/s/16AUdtBmSv7OG2PTyA1XcgQ?pwd=qu7l

mysql驱动包下载地址:https://pan.baidu.com/s/1JeAWz-H4k0WA9RjmTCWVCg?pwd=z49d

二、安装

  1. sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到虚拟机

此处是将sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz上传到hadoop用户的software目录下

  1. tar -zxvf sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz #解压sqoop-1.4.7.bin_hadoop-2.6.0.tar.gz

  1. mv sqoop-1.4.6.bin__hadoop-2.6.0 sqoop #重命名

  1. sudo chown -R hadoop:hadoop sqoop #修改文件夹属性,此处hadoop是当前登录的用户,改为自己当前登录的用户名

  1. cd sqoop/conf/ #进入sqoop的conf目录下

  1. cat sqoop-env-template.sh >> sqoop-env.sh #将sqoop-env-template.sh复制一份并命名为sqoop-env.sh

  1. vim sqoop-env.sh #编辑sqoop-env.sh

在文件中编辑如下内容,编辑好之后保存退出

 export HADOOP_COMMON_HOME=/home/hadoop/software/hadoop-3.3.0
  export HADOOP_MAPRED_HOME=/home/hadoop/software/hadoop-3.3.0
  export HIVE_HOME=/home/hadoop/software/hive3.1.2
  #export HBASE_HOME=#如果读者配置了HBASE,也需要在此配置HBASE的路径
  #export ZOOCFGDIR= #如果读者配置了ZooKeeper,也需要在此配置ZooKeeper的路径
  1. 将mysql-connector-java.jar上传到sqoop的lib目录下(mysql-connector-java.jar在文章前边有下载链接)

  1. vi ~/.bash_profile #编辑环境变量

在文件中添加如下内容,编辑好之后保存退出

export SQOOP_HOME=/home/hadoop/software/sqoop
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
  1. source ~/.bash_profile #更新~/.bash_profile 文件

到这里sqoop就安装完成了。

三、测试与mysql的连接

  1. 启动mysql

/home/mysql5.7/support-files/mysql.server start

这里的/home/mysql5.7是安装mysql的路径,把它对应改成自己的安装路径即可

  1. 在Sqoop的安装目录下执行:

bin/sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P

#测试sqoop与MySQL之间的连接是否成功


到这里sqoop就安装完成啦????????????

最后

以上就是想人陪保温杯为你收集整理的sqoop安装(linux)一、前期准备二、安装三、测试与mysql的连接的全部内容,希望文章能够帮你解决sqoop安装(linux)一、前期准备二、安装三、测试与mysql的连接所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(63)

评论列表共有 0 条评论

立即
投稿
返回
顶部