我是靠谱客的博主 愤怒月亮,最近开发中收集的这篇文章主要介绍spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

一、thriftserver服务端

1. 启动服务

$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1

1)指定服务端端口

hive.server2.thrift.port

2)指定服务端host

hive.server2.thrift.bind.host

2. 停止服务

$SPARK_HOME/sbin/stop-thriftserver.sh

二、beeline客户端连接sparkSQL

1. JDBC方式连接sparkSQL

$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000

三、查看日志

tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out

 

四、设置alias别名

vi ~/.bash_profile
alias sparksql='$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000'
alias sparksvr='$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1'
alias sparklog='tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out'

通过在环境变量中设置alias别名,可以很方便的启动服务端、连接服务端、查看日志等操作。

备注:

spark安装路径下lib文件夹:确保有“mysql-connector-java-5.1.30-bin.jar”

 

 

最后

以上就是愤怒月亮为你收集整理的spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名的全部内容,希望文章能够帮你解决spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(45)

评论列表共有 0 条评论

立即
投稿
返回
顶部