flume消费kafka出现的问题及解决方法一、flume消费kafka的agent数量问题二、监控flume
一、flume消费kafka的agent数量问题flume消费kafka到本地HDFS时不要使用太多主机和agent进程（一个agent），特别是MLTE_S6A_FS和2G数据的CITY_SHARE_GBIUPS_FS数据量比较小的topic(目前佛山集群使用5个agent进程，总共有15分partition)，如果太多agent消费会导致很多小文件。s6a一个小时有20多G，属于比较少的数...
