关于从kafka采集数据到flume，然后落盘到hdfs上生成的一堆小文件的总结

66 阅读 0 评论 44 点赞

我是靠谱客的博主体贴白昼，最近开发中收集的这篇文章主要介绍关于从kafka采集数据到flume，然后落盘到hdfs上生成的一堆小文件的总结，觉得挺不错的，现在分享给大家，希望可以做个参考。

采集数据到kafka，然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。

（1）一直是提醒说必须指定topic，然后发现我kafka用的是0.9.0.1，然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。

（2）flume能够正常启动。然而这个时候采集的文件是一堆小文件。

然后查看配置文件，修改配置文件。

依然是生成了一堆小文件。最终的解决方法是：

将Hadoop配置文件里面的相关文件加入到flume的conf目录下。使这个配置文件能够生效。识别这个当中的相关的配置文件。

转载于:https://www.cnblogs.com/gxgd/p/7840896.html

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。