概述
spark开启history-server之后，app日志会保存在制定的目录下，
若yarn开启日志收集，也需要进行app-logs的自动清理,因为项目组大数据平台经常日志太多，需要做清理，jobhistory中 也会经常出现长时间的load，鉴于此问题采取以下措施解决
## yarn日志收集
yarn.log-aggregation.retain-seconds = 1209600
yarn.log-aggregation.retain-check-interval-seconds = 86400
## spark-history日志
spark.history.fs.cleaner.enabled = true
spark.history.fs.cleaner.interval = 1d
spark.history.fs.cleaner.maxAge = 14d
## spark2-history日志
spark.history.fs.cleaner.enabled = true
spark.history.fs.cleaner.interval = 1d
spark.history.fs.cleaner.maxAge = 14d转载出处：
https://blog.csdn.net/u011098327/article/details/81077370最后
以上就是清爽萝莉为你收集整理的Spark jobhistory日志清理的全部内容，希望文章能够帮你解决Spark jobhistory日志清理所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复