流式数据采集和计算（一）：Flume、Kafka、Storm基础Flume

62 阅读 0 评论 41 点赞

我是靠谱客的博主俭朴小海豚，最近开发中收集的这篇文章主要介绍流式数据采集和计算（一）：Flume、Kafka、Storm基础Flume，觉得挺不错的，现在分享给大家，希望可以做个参考。

Flume

官方guide：http：//flume.apache.org/FlumeUserGuide.html

flume是一个分布式、可靠、高可用的海量日志采集、聚合、传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。

当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：

end-to-end：收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。

Store on failure：这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送

Besteffort：数据发送到接收方后，不会进行确认

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。