配置文件：spark-defaults.conf
spark.eventLog.enabled true
spark.eventLog.dir hdfs://IP:8020/spark-events #提前创建好目录
spark.eventLog.compress true #压缩，减少资源消耗
配置文件：spark-env.sh
Export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=180180 -Dspark.history.retainerApplications =250 -Dspark.history.fs.logDirectory=和上目录一致
端口 UI可查看历史记录数 读取历史记录数据目录
启动historyserver ./sbin/start-history-server.sh
最后
以上就是现实战斗机最近收集整理的关于【spark笔记】HistoryServer服务配置的全部内容，更多相关【spark笔记】HistoryServer服务配置内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复