前言

相关敏感配置信息以自己实际信息为准，下面案例可供参考

一、Filebeat简介

1.Filebeat是什么

　　Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

2.工作流程

　　启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。

二、使用步骤

1.logback配置

pom.xml加入以下jar包：

<!--logback-->
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>6.1</version>
</dependency>

定义json格式方便filebeat收集（在logback配置文件加上该配置）：

	<appender name="elk-json" class="ch.qos.logback.core.rolling.RollingFileAppender">
<!-- 日志文件地址 -->
<file>${LOG_HOME}/json/json.log</file>
<rollingPolicy
class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
<!-- 每天一归档 -->
<fileNamePattern>${LOG_HOME}/json/json.log.%d{yyyy-MM-dd}.%i</fileNamePattern>
<!-- 单个日志文件最多 100MB, 1天的日志周期（因为只是临时记录一个json化的日志文件），最大不能超过5GB -->
<maxFileSize>100MB</maxFileSize>
<cleanHistoryOnStart>true</cleanHistoryOnStart>
<maxHistory>1</maxHistory>
<totalSizeCap>5GB</totalSizeCap>
</rollingPolicy>
<!-- 使用默认json格式化日志解码器输出-->
<encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder">
</encoder>
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
</appender>

在root标签下引入 elk-json

	<root level="debug">
<appender-ref ref="elk-json"/>
</root>

2.Filebeat配置

首先进入到filebeat目录下：

cd /opt/filebeat-7.15.0-linux-x86_64/

新建filebeat-tang.yml配置文件

touch filebeat-test.yml

配置如下：

filebeat.inputs:
# 例：对外接口服务日志
- type: log
#默认为false,修改为true则启用该配置
enabled: true
#使用json格式解析日志文件中的每一行
json.keys_under_root: true
json.overwrite_keys: true
paths:
#服务日志路径
- /opt/app/test-openapi/logs/resource.log
#将自定义字段放在顶层发送
fields_under_root: true
#自定义字段
fields:
#当前服务器公网ip
runip: 66.66.66.666
#服务名称
app_name: test-openapi
# 例：web接口服务日志
- type: log
#默认为false,修改为true则启用该配置
enabled: true
#使用json格式解析日志文件中的每一行
json.keys_under_root: true
json.overwrite_keys: true
paths:
#服务日志路径
- /opt/app/test-webapi/logs/resource.log
#将自定义字段放在顶层发送
fields_under_root: true
#自定义字段
fields:
#当前服务器公网ip
runip: 66.66.66.666
#服务名称
app_name: test-webapi
# 例：nginx 错误日志
- type: log
paths:
#需要监听json格式的日志文件地址
- /opt/nginx-1.20.0/logs/error.log
#将自定义字段放在顶层发送
fields_under_root: true
#自定义字段
fields:
runip: 66.66.66.666
app_name: test-nginx-error
# 例：nginx 访问日志
- type: log
#使用json格式解析日志文件中的每一行
json.keys_under_root: true
json.overwrite_keys: true
paths:
#需要监听json格式的日志文件地址
- /opt/nginx-1.20.0/logs/access_json.log
#将自定义字段放在顶层发送
fields_under_root: true
#自定义字段
fields:
runip: 66.66.66.666
app_name: test-nginx-access
#不需要filebeat的策略，自己创建
setup.ilm.enabled: false
setup.template.enabled: false
output.elasticsearch:
#elk服务地址，这里做了个简单集群所有有两个地址
hosts: ["http://66.66.66.888:9200","http://66.66.66.999:9200"]
username: "elastic"
password: "123456"
index: "%{[app_name]}-%{+yyyy.MM.dd}"

重启Filebeat生效配置：

nohup ./filebeat
-c filebeat-test.yml >/dev/null 2>&1 &

总结

每天进步一点，爱分享爱生活！

最后

以上就是包容哈密瓜为你收集整理的Filebeat配置（ELK）前言一、Filebeat简介二、使用步骤总结的全部内容，希望文章能够帮你解决Filebeat配置（ELK）前言一、Filebeat简介二、使用步骤总结所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。