概述
配置文件：spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录
spark.eventLog.compress true #压缩，减少资源消耗
配置文件：spark-env.sh
Export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=180180 -Dspark.history.retainerApplications =250 -Dspark.history.fs.logDirectory=和上目录一致
端口 UI可查看历史记录数 读取历史记录数据目录
启动historyserver ./sbin/start-history-server.sh
最后
以上就是现实战斗机为你收集整理的【spark笔记】HistoryServer服务配置的全部内容，希望文章能够帮你解决【spark笔记】HistoryServer服务配置所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复