我是靠谱客的博主 愤怒月亮,最近开发中收集的这篇文章主要介绍spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名,觉得挺不错的,现在分享给大家,希望可以做个参考。
概述
一、thriftserver服务端
1. 启动服务
$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1
1)指定服务端端口
hive.server2.thrift.port
2)指定服务端host
hive.server2.thrift.bind.host
2. 停止服务
$SPARK_HOME/sbin/stop-thriftserver.sh
二、beeline客户端连接sparkSQL
1. JDBC方式连接sparkSQL
$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000
三、查看日志
tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out
四、设置alias别名
vi ~/.bash_profile
alias sparksql='$SPARK_HOME/bin/beeline
-u jdbc:hive2://c3pretest1:10000'
alias sparksvr='$SPARK_HOME/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10000 --hiveconf hive.server2.thrift.bind.host=c3pretest1'
alias sparklog='tail -f /home/c3app/c3/logs/spark/spark-c3-org.apache.spark.sql.hive.thriftserver.HiveThriftServer2-1-c3pretest1.out'
通过在环境变量中设置alias别名,可以很方便的启动服务端、连接服务端、查看日志等操作。
备注:
spark安装路径下lib文件夹:确保有“mysql-connector-java-5.1.30-bin.jar”
最后
以上就是愤怒月亮为你收集整理的spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名的全部内容,希望文章能够帮你解决spark中thriftserver服务端、beeline客户端使用一、thriftserver服务端二、beeline客户端连接sparkSQL三、查看日志四、设置alias别名所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复