Ubuntu下安装hive和sqoop（解决你可能会遇到的问题

62 阅读 0 评论 41 点赞

我是靠谱客的博主陶醉白昼，最近开发中收集的这篇文章主要介绍Ubuntu下安装hive和sqoop（解决你可能会遇到的问题，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

hive部分的安装

参考的是以下链接安装的
http://dblab.xmu.edu.cn/blog/2440-2/#more-2440
点击这里

安装过程中可能会遇到上述链接没有的问题，可以参考如下：

1.E：无法获得锁 /var/lib/dpkg/lock - open (11:资源暂时不可用）…
在这里插入图片描述
这个命令回车后如遇到

解决方法（强制解锁） >>>
1)sudo rm /var/cache/apt/archives/lock
2)sudo rm /var/lib/dpkg/lock

2.Error 2002 （HY000）： Can’t connecy to local Mysql server through socket …
在这里插入图片描述
这个命令回车后遇到

解决方法（可以尝试在绝对路径下启动）>>>
a) ls /etc/init.d/mysql <ls查看mysql位置>
b) sudo /etc/init.d/mysql start
c)再试一遍 mysql -u root -p进行登录

3.进入hive命令行后，输入语句，出现一堆报错语句
hdfs启动了才可以启动hive 直接命令行hive
可以进入hive的命令行，不代表你可以使用hive，写这个命令测试一下 >>> show databases;
>>> 如果出现一堆东西不是正常的话说明配置还是出问题
>>> 找原因 a）检查hive的配置文件； b）是否创建了hive的数据库，或者没有初始化hive的数据库

-hive的配置文件可以参考如下
//hive的配置文件是位于hive文件夹下conf下的hive-site.xml
在这里插入图片描述

b# 初始化元数据库 >>> schematool -dbType mysql -initSchema (在hive文件夹下lib 下初始 bin也可以）
(如果初始化不成功，则要返回检查hive的配置文件！）
在这里插入图片描述

4.Hive执行命令卡在Kill Command …无法运行
执行一些分组查询等，Hive执行命令卡在Kill Command 无法运行
在这里插入图片描述

检查所有进程是不是都有，保证环境没有问题，环境没有问题可能就说内存不足了
解决 >>>

a.修改yarn-site.xml文件
yarn-site.xml位于hadoop下etc下
可以参考如下配置信息：
在这里插入图片描述

b.然后重启hadoop，yarn，hive

Sqoop部分的安装

参考的是以下链接安装的
http://dblab.xmu.edu.cn/blog/install-sqoop1/#more-1015
点击这里

验证sqoop是否安装成功使用命令sqoop help
（验证成功的标志）
在这里插入图片描述

如果遇到
…ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access
denied for user ‘root’@‘localhost’ (using password: YES)…
…ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException:
No columns to generate for ClassWriter 一堆报错东西

在这里插入图片描述

在这里插入图片描述
解决：
a.确保mysql已经启动 service mysql start
b. 进入操作界面 mysql -u root -p 按提示输入密码
c. 执行远程登录权限
grant all privileges on . to root@localhost identified by ‘root’;(mysql shell下执行)
d.flush privileges; (mysql shell下执行)
>>> 此时mysql的登录密码变成了root
e.重新启动mysql再连sqoop