我是靠谱客的博主 飞快胡萝卜,最近开发中收集的这篇文章主要介绍python 连接 hive,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

我建了一个CentOS的虚拟机,为了验证python连接hive

首先,在服务器端除了安装hive,还需要做以下配置:

(1)配置当前用户的权限,到hadoop下面的/etc/hadoop/core-site.xml。

(2)配置客户端的权限,增加从本地的地址到/etc/hadoop/core-site.xml.

(3)启动hiveserver2,然后验证一下是否能用beeline连接:

/root/apps/hive-1.2.1/bin/beenline

!connect jdbc:hive2://localhost:10000

能连接证明本地已经调通了。

(3)修改为NOSASL模式,在hive的配置文件增加这一段:

<property>
<name>hive.server2.authentication</name>
<value>NOSASL</value>
</property>

(4)开启防火墙:firewall-cmd --zone=public --add-port=10000/tcp --permanent

(5)重启防火墙:firewall-cmd --reload



然后就到本地验证一下是否能连通hive的10000端口。

telnet 192.168.1.188

接着,安装pyhive的一些包:

pipinstall sasl

pipinstall thrift

pipinstall thrift-sasl

pipinstall PyHive

最后是相关的测试代码:

from pyhive import hive
cursor = hive.Connection(host='192.168.1.188',port=10000,auth='NOSASL',username="hadoop").cursor()
cursor.execute('select * from testA')
print(cursor.fetchone())

最后

以上就是飞快胡萝卜为你收集整理的python 连接 hive的全部内容,希望文章能够帮你解决python 连接 hive所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(106)

评论列表共有 0 条评论

立即
投稿
返回
顶部