我是靠谱客的博主 大气小刺猬，最近开发中收集的这篇文章主要介绍flume消费kafka出现的问题及解决方法一、flume消费kafka的agent数量问题二、监控flume，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
一、flume消费kafka的agent数量问题
flume消费kafka到本地HDFS时不要使用太多主机和agent进程（一个agent），特别是MLTE_S6A_FS和2G数据的CITY_SHARE_GBIUPS_FS数据量比较小的topic(目前佛山集群使用5个agent进程，总共有15分partition)，如果太多agent消费会导致很多小文件。s6a一个小时有20多G，属于比较少的数据量。
二、监控flume
Flume提供了jmx,ganglia,json这三种方法来监控单个agent消费的情况。这里举例说一下json 和 ganglia这两种方法。
Json reporting
可以启动一个内置的HTTPServer，用来简单观察flume运行情况，启动方法：在启动命令行上增加参数：
-Dflume.monitoring.type=http -Dflume.monitoring.port=8879表明在8879端口上查看监控信息，该端口是可以随意指定，只要不冲突即可，如：
http://xxxx:8879/metrics
可以查看到一些性能信息，如channel的使用率，在开发测试时，可以根据它来确认file-channel要开多大。
也可以把上面的启动参数加到./conf/flume-env.sh文件的JAVA_OPTS变量上。
以下是访问结果
最后
以上就是大气小刺猬为你收集整理的flume消费kafka出现的问题及解决方法一、flume消费kafka的agent数量问题二、监控flume的全部内容，希望文章能够帮你解决flume消费kafka出现的问题及解决方法一、flume消费kafka的agent数量问题二、监控flume所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复