概述
flume 分成三大类组件：
-
source 组件，指定数据源
-
channel 组件，作为一个缓存，连接 source 和 sink
-
sink 组件，指定数据目的地
案例1：使用 flume 采集来自 44444 端口发来的数据
1、准备配置
# 声明三种组件 a1 = agent1
a1.sources = r1
a1.channels = c1
a1.sinks = k1
# 定义source信息
# r1类型，监听什么样的数据
a1.sources.r1.type = netcat
# 监听ip
a1.sources.r1.bind = 192.168.88.161
# 端口号
a1.sources.r1.port = 44444
# r1连接到c1
a1.sources.r1.channels = c1
# 定义channel信息
a1.channels.c1.type = memory
# 定义sink信息
# 设定类型 在终端中打印
a1.sinks.k1.type = logger
# 连接到哪个channel
a1.sinks.k1.channel = c12、写入配置
- 打开flume安装目录
cd /export/server/apache-flume-1.9.0-bin/conf
- 创建一个配置文件
touch intro_source_netcat_sink_logger.conf
- 把上方配置写入到文件（记得把中文注释删掉）
vim intro_source_netcat_sink_logger.conf
3、启动 Flume
flume-ng agent -f /export/server/apache-flume-1.9.0-bin/conf/intro_source_netcat_sink_logger.conf -n a1 -Dflume.root.logger=INFO,console4、向 44444 端口发送数据
# 安装telnet
yum install telnet
# 向44444端口发送数据
telnet 192.168.88.161 44444案例2：使用flume采集来自kafka的数据
1、准备配置
a1.sources = r1
a1.channels = c1
a1.sinks = k1
a1.sources.r1.type = TAILDIR
a1.sources.r1.channels = c1
a1.sources.r1.positionFile = /export/data/momo_data/taildir_position.json
a1.sources.r1.filegroups = f1
a1.sources.r1.filegroups.f1 = /export/data/momo_data/MOMO_DATA.dat
a1.channels.c1.type = memory
a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers=node1:9092,node2:9092,node3:9092
a1.sinks.k1.kafka.topic=MOMO_MSG
a1.sinks.k1.channel=c12、写入配置
- 1. 打开 flume 安装目录
cd /export/server/apache-flume-1.9.0-bin/conf
- 2. 创建一个配置文件
touch intro_source_netcat_sink_logger.conf
- 3. 把上方配置写入到文件（记得把中文注释删掉）
vim intro_source_netcat_sink_logger.conf
3、使用flume采集来自kafka的数据
- 1. 启动 kafka
nohup kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties&
- 2. 创建 topics
kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic MOMO_MSG --partitions 3 --replication-factor 2
- 3. 启动 flume
flume-ng agent -f /export/server/apache-flume-1.9.0-bin/conf/source_taildir_sink_kafka.conf -n a1 -Dflume.root.logger=INFO,console
- 4. 启动kafka消费者 通过这个消费者检查数据确实写入到这个 MOMO_MSG
kafka-console-consumer.sh --bootstrap-server node1.itcast.cn:9092 --topic MOMO_MSG
- 5. 启动生产数据 jar
cd /export/data/momo_init/ java -jar MoMo_DataGen.jar MoMo_Data.xlsx /export/data/momo_data/ 1000
最后
以上就是朴素帽子为你收集整理的Flume常用命令及基本操作（附案例）的全部内容，希望文章能够帮你解决Flume常用命令及基本操作（附案例）所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复