由于sparkStreaming日志太多不便于查找关键的日志，而且在spark1.6版本，日志默认是打印在根目录所在磁盘，实时任务日志会随着时间越来越大，可能会给服务造成影响，此时需要过滤掉某些类的日志。
// 屏蔽不必要的日志 ,在终端上显示需要的日志
import org.apache.log4j.{Level, Logger}
Logger.getLogger("org.apache.spark").setLevel(Level.OFF)
Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
Logger.getLogger("org.apache.kafka.clients.consumer").setLevel(Level.OFF)
屏蔽 sparkContext 的日志
sparkContext.setLogLevel("WARN")
最后
以上就是忐忑草丛最近收集整理的关于SparkStreaming 过滤日志的全部内容，更多相关SparkStreaming内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复