概述
由于sparkStreaming日志太多不便于查找关键的日志，而且在spark1.6版本，日志默认是打印在根目录所在磁盘，实时任务日志会随着时间越来越大，可能会给服务造成影响，此时需要过滤掉某些类的日志。
// 屏蔽不必要的日志 ,在终端上显示需要的日志
import org.apache.log4j.{Level, Logger}
Logger.getLogger("org.apache.spark").setLevel(Level.OFF)
Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
Logger.getLogger("org.apache.kafka.clients.consumer").setLevel(Level.OFF)
屏蔽 sparkContext 的日志
sparkContext.setLogLevel("WARN")
最后
以上就是忐忑草丛为你收集整理的SparkStreaming 过滤日志的全部内容，希望文章能够帮你解决SparkStreaming 过滤日志所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复