我是靠谱客的博主 唠叨鸭子,最近开发中收集的这篇文章主要介绍Flume教程(一)Flume环境搭建与测试、使用,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

安装

一、将apache-flume-1.9.0-bin.tar.gz上传到hp3的/apps文件夹下
二、解压:
tar -xvf /apps/apache-flume-1.9.0-bin.tar.gz -C /usr/local
三、对解压后的文件建立一个软连接,命名为flume
四、配置环境变量,在profile.d下新建flume.sh
编辑内容为:

export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

并让其生效:

source /etc/profile.d/flume

五、检查

flume-ng version

在这里插入图片描述

使用

监听端口,获取网络发来的请求,并将数据打印在控制台上:
在flume目录下,新建一个job文件夹,在job文件夹中新建:

vi flume-nc-log.conf

编辑内容为:

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

开启Fulme监听:

 flume-ng agent --conf conf --name a1 --conf-file /usr/local/flume/job/flume-nc-log.conf -Dflume.root.logger=INFO,console

再开启一个Linux终端,使用NetCat往44444端口发送消息:
在这里插入图片描述
查看开启flume监听的终端在控制台上打印的信息:
在这里插入图片描述

最后

以上就是唠叨鸭子为你收集整理的Flume教程(一)Flume环境搭建与测试、使用的全部内容,希望文章能够帮你解决Flume教程(一)Flume环境搭建与测试、使用所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(50)

评论列表共有 0 条评论

立即
投稿
返回
顶部