在你的spark路径的conf文件中，cp拷贝spark-defaults.conf.template为spark-defaults.conf
并在文件后面加上
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/history
spark.eventLog.compress true
将配置分发到其他子节点我使用的是rsync
rsync sparkconf路径/spark-defaults.conf 子节点ip: sparkconf路径/spark-defaults.conf
启动spark history server，在主节点上执行
spark路径/sbin/start-history-server.sh hdfs://master:9000/history
！！！后面接的那个路径一定要和在conf中设置的一样，如果不接这个参数，默认值是本地的/tmp/spark-events
最后
以上就是想人陪寒风最近收集整理的关于spark history server集群配置与使用（解决执行spark任务之后没有显示的问题）的全部内容，更多相关spark内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复