俊逸裙子

文章
6
资源
0
加入时间
3年0月21天

flume使用之flume+hive 实现日志离线收集、分析

在如今互联网行业中,数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来,存放到数据仓库(hive)中,然后离线通过sql进行统计分析,这一套数据流的建设对系统有非常重要的意义。 1、思路:1)线上系统通过log4j将数据打印到本地磁盘上;2)在线上系统服务器上安装flume,作为agent使用exec source将线上系...