大气小刺猬

文章
8
资源
0
加入时间
3年2月3天

flume消费kafka出现的问题及解决方法一、flume消费kafka的agent数量问题二、监控flume

一、flume消费kafka的agent数量问题flume消费kafka到本地HDFS时不要使用太多主机和agent进程(一个agent),特别是MLTE_S6A_FS和2G数据的CITY_SHARE_GBIUPS_FS数据量比较小的topic(目前佛山集群使用5个agent进程,总共有15分partition),如果太多agent消费会导致很多小文件。s6a一个小时有20多G,属于比较少的数...