无聊机器猫

文章
10
资源
0
加入时间
2年10月24天

电商数仓项目(八) Flume(3) 生产者和消费者配置一、生产数据写到kafka二、消费kafka数据写到hdfs

目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume 生产者和消费者配置。一、生产数据写到kafka将上节生成的flume-interceptor-1.0.0.jar文件上传到$FLUME_HOME/lib目录下在$FLUME_HOME/conf目录中创建file-flume-kafka.conf文件,文件目录:/u01/gmall/data/in/log-data读取的文件:app开头的文件内容如下:#定义Agent必需的组件名称,同时指定本配置文件的A