大数据模块开发之数据采集
1.需求在网站web流量日志分析这种场景中,对数据采集部分的可靠性、容错能力要求通常不会非常严苛,因此使用通用的flume日志采集框架完全可以满足需求。2.Flume日志采集系统2.1.Flume采集Flume采集系统的搭建相对简单:1、在服务器上部署agent节点,修改配置文件2、启动agent节点,将采集到的数据汇聚到指定的HDFS目录中针对nginx日志生成场景,如果通过f...