明亮石头

文章
7
资源
0
加入时间
3年1月7天

Flume跨服务器监控日志数据

需求​:对于web项目单独所部署的服务器,每天都会产生大量的nginx日志文件,我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析,最后做出​可视化。架构分析​:第一步​:数据采集从图中可以看出,我们分别再web服务器和slave1上部署Flume,再web服务器上agent的Source来源于nginx日志,经过channel传输到Sink,Sink将数据输出到slave1,Agent的Source,最终将数据上传到hdfs上​。第二步​:部署Flume之前写过Flume入