Flume中常用Source和Channel类型的特点

62 阅读 0 评论 41 点赞

我是靠谱客的博主清脆老鼠，最近开发中收集的这篇文章主要介绍Flume中常用Source和Channel类型的特点，觉得挺不错的，现在分享给大家，希望可以做个参考。

Source选择

NetCat Source
一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。

TailDir Source：
断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。

Exec Source
可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。

Spooling Directory Source
监控目录，支持断点续传。

Kafka Channel
省去了Sink，提高了效率。KafkaChannel数据存储在Kafka里面，所以数据是存储在磁盘中。

Memory Channel
是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么
Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。

File Channel
将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。

以上就是清脆老鼠为你收集整理的Flume中常用Source和Channel类型的特点的全部内容，希望文章能够帮你解决Flume中常用Source和Channel类型的特点所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。