flume+kafka+storm+mysql架构设计感谢大家的关注,从写这篇博客到现在经过不少时间了。最近重新回顾storm发现改动还是挺多的。我重新整理的篇最新版的安装笔记:点击打开链接版本:序言架构图数据流向图 实时日志分析系统架构简介 详细介绍各个组件及安装配置: kafka和storm整合 flume和kafka整合启动步骤
架构图实时日志分析系统架构简介系统主要分为四部分: 1).数据采集负责从各节点上实时采集数据,选用cloudera的flume来实现2).数据接入由于采集数据的速度和数据处理的速度不一定同步,因此添加一个消息中间件来作为缓冲,选用apache的kafka3).流式计算