spark history server集群配置与使用（解决执行spark任务之后没有显示的问题）

78 阅读 0 评论 52 点赞

我是靠谱客的博主想人陪寒风，最近开发中收集的这篇文章主要介绍spark history server集群配置与使用（解决执行spark任务之后没有显示的问题），觉得挺不错的，现在分享给大家，希望可以做个参考。

在你的spark路径的conf文件中，cp拷贝spark-defaults.conf.template为spark-defaults.conf

并在文件后面加上

spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/history
spark.eventLog.compress true

将配置分发到其他子节点我使用的是rsync

rsync sparkconf路径/spark-defaults.conf 子节点ip: sparkconf路径/spark-defaults.conf

启动spark history server，在主节点上执行

spark路径/sbin/start-history-server.sh hdfs://master:9000/history

！！！后面接的那个路径一定要和在conf中设置的一样，如果不接这个参数，默认值是本地的/tmp/spark-events

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。