清爽萝莉

文章
6
资源
0
加入时间
4年0月7天

Spark jobhistory日志清理

spark开启history-server之后,app日志会保存在制定的目录下, 若yarn开启日志收集,也需要进行app-logs的自动清理,因为项目组大数据平台经常日志太多,需要做清理,jobhistory中 也会经常出现长时间的load,鉴于此问题采取以下措施解决## yarn日志收集yarn.log-aggregation.retain-seconds = 1209600ya...