flume安装配置

1.配置包

将apache-flume-1.6.0-bin.tar.gz flume配置包放入虚拟机的opt目录下

2.进入conf目录

1.进入到conf目录：  /opt/apache-flume-1.6.0-bin/conf
2.将配置包放入到该目录下： 一下就是aa.conf 配置文件包
3.修改配置文件的输出路径： producer.sinks.sk1.hdfs.path=hdfs://jiaojianying:8020/flume/a01/%Y-%m-%d-%H
4.将hdfs的端口改为自己虚拟机的集群端口
5.在opt目录下创建 n01文件夹： mkdir n01
6.在n01目录下创建a.log日志文件： touch a.log
7.在a.log中随便写入一些字符

producer.sources = s1
producer.channels = c1
producer.sinks = sk1
​
​
producer.sources.s1.type = spooldir
producer.sources.s1.spoolDir = /var/log/nginx
producer.sources.s1.fileHeader = true
producer.sources.s1.batchSize = 100
​
producer.channels.c1.type = memory
producer.channels.c1.capacity = 1000000
producer.channels.c1.transactionCapacity = 10000
​
​
producer.sinks.sk1.type = hdfs
producer.sinks.sk1.hdfs.path=hdfs://jiaojianying:8020/a01/%Y-%m-%d-%H
producer.sinks.sk1.hdfs.filePrefix=events-
producer.sinks.sk1.hdfs.fileSuffix = .log 
producer.sinks.sk1.hdfs.round = true
producer.sinks.sk1.hdfs.roundValue = 1
producer.sinks.sk1.hdfs.roundUnit = minute
producer.sinks.sk1.hdfs.fileType=DataStream
producer.sinks.sk1.hdfs.writeFormat=Text
producer.sinks.sk1.hdfs.rollInterval=1
producer.sinks.sk1.hdfs.rollSize=128
producer.sinks.sk1.hdfs.rollCount=0
producer.sinks.sk1.hdfs.idleTimeout=60
producer.sinks.sk1.hdfs.useLocalTimeStamp = true
​
​
producer.sources.s1.channels = c1
producer.sinks.sk1.channel = c1
​
​
​

3.运行flume

 bin/flume-ng agent -c conf -f /opt/kafka/conf/fk.conf -Dflume.root.logger=DEBUG,console -n a1

4.检验

运行完毕后进去50070端口检验 jiaojianying:8020/a01/%Y-%m-%d-%H 该目录下是否运行成功。

5.flume监控nginx日志目录到hdfs

1.将aa.conf 配置文件的sources的接受文件的路径修改为nginx生成日志的路径：/var/log/nginx
2.启动nginx 刷新生成日志。
3.进入到flume的bin目录下再次运行flume 检查nginx生成的日志是 否成功上传：
     bin/flume-ng agent -c conf -f conf/aa.conf -Dflume.root.logger=DEBUG,console -n producer

6.再次检验

1.进入到hdfs的/flume/a01/%Y-%m-%d-%H 目录下检查是否上传成功。

7.替换定时任务器

有了flume采集器以后，将前期的定时任务器进行替换升级。

最后

以上就是干净蓝天为你收集整理的flume安装配置的全部内容，希望文章能够帮你解决flume安装配置所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。