【基于elasticsearch+kibana】 filebeat 读取kafka topic

98 阅读 0 评论 65 点赞

我是靠谱客的博主真实宝贝，这篇文章主要介绍【基于elasticsearch+kibana】 filebeat 读取kafka topic，现在分享给大家，希望可以做个参考。

前言：在上面一节中，通过modules.d/kafka.yml的配置，完成了固定path下面日志文件读取到elasticsearch中并用kibana进行了搜索展示。而实际的应用过程中，流程是某个微服务应用程序把日志吐到kafka的某个topic中，filebeat以kafka的topic中数据作为输入，elasticsearch作为输出。这一节，我们就来实现这个过程。

先看filebeat与kafka版本的适配，有时候公司用的kafka版本万年不升级毫无办法，0.9.0.0不支持。

Compatibility

This input works with all Kafka versions in between 0.11 and 2.1.0. Older versions might work as well, but are not supported.

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
- type: kafka
hosts:
- 20.11.2.183:9092
# - kafka-broker-2:9092
- 10.11.55.11:9092
topics: ["test2","innerweb"]
group_id: "innerweb"

复制代码

1
2
3
4
-- 控制台进行kafka topic的生产和消费
bin/kafka-console-producer.sh --bootrap-server localhost:9092 --topic innerweb
bin/kafka-console-consumer.sh
--zookeeper localhost:2181 --topic innerweb --from-beginning