大数据集群搭建（8）——Flume的单节点安装及使用

1.Flume的安装

1.1.创建flume文件夹，上传并解压安装包

cd /usr

mkdir flume

cd flume

rz（选中上传准备好的 flume安装包）

tar –zxvf xxxxxxxx

1.2.修改配置文件

1.2.1.修改flume-env.sh文件

[root@master conf]# mv flume-env.sh.template  flume-env.sh

export JAVA_HOME=/usr/etc/jdk1.8.0_181

(将文件中的#注释去掉，注意前面不要有空格)

1.2.2.修改flume.conf文件（新建文件）

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# 指定Flume source(要监听的路径)

a1.sources.r1.type = spooldir

#先创建这个目录

a1.sources.r1.spoolDir = /logs      

 

# 指定Flume sink

a1.sinks.k1.type = logger

 

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

1.3.启动flume

bin/flume-ng agent -n a1 -c conf -f conf/文件名 -Dflume.root.logger=INFO,console

1.4.测试

再开一个终端，向/logs（监控目录）里面添加文件，观察flume

2.使用flume监听文件

2.1.修改flume2.conf文件（新建文件）

# 指定Agent的组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

 

# 指定Flume source(要监听的路径)

#指定文件类型

a1.sources.r1.type = exec

#指定文件

a1.sources.r1.command = tail -F  /a.log

 

# 指定Flume sink

a1.sinks.k1.type = logger

 

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

2.2.启动flume

bin/flume-ng agent -n a1 -c conf -f conf/文件名 -Dflume.root.logger=INFO,console

2.3.测试

再开一个终端，向/a.log（监控文件）里面添加内容，观察flume

最后

以上就是妩媚钥匙为你收集整理的大数据集群搭建（8）——Flume的单节点安装及使用的全部内容，希望文章能够帮你解决大数据集群搭建（8）——Flume的单节点安装及使用所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。