docker部署ELK+Filebeat之filebeat部署（二）

80 阅读 0 评论 53 点赞

我是靠谱客的博主暴躁小蝴蝶，这篇文章主要介绍docker部署ELK+Filebeat之filebeat部署（二），现在分享给大家，希望可以做个参考。

docker部署ELK+Filebeat之filebeat部署（二）

摘要：

Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

本文采用filebeat获取nginx日志传输给logstash
提前安装好nginx，步骤如下：

复制代码

1
2
3
4
5
6
7
8
9
# yum install nginx -y
# service nginx restart
Redirecting to /bin/systemctl restart nginx.service
# ls -l /var/log/nginx/
total 32
-rw-rw-r-- 1 nginx root 18206 Jul 22 10:12 access.log
-rw-rw-r-- 1 nginx root
208 Jul 22 09:30 error.log

1、拉取镜像

复制代码

1
2
# docker pull store/elastic/filebeat:7.1.1

2、修改配置文件

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# mkdir /data/service/docker/filebeat
# cd /data/service/docker/filebeat/
# wget https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml
##获取官网默认配置文件
# vim filebeat.docker.yml
添加如下内容，其他原有内容注释即可：
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log
fields:
log_source: nginx
output.logstash:
hosts: ["10.0.1.147:5044"]

2、启动容器

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# docker network ls
# docker run --name filebeat --user=root -d --net elasticsearch_default -v /var/log/nginx/:/var/log/nginx/ -v /data/service/docker/filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro -v /var/lib/docker/containers:/var/lib/docker/containers:ro -v /var/run/docker.sock:/var/run/docker.sock:ro store/elastic/filebeat:7.1.1
# docker ps -a
CONTAINER ID
IMAGE
COMMAND
CREATED
STATUS
PORTS
NAMES
08b310ed4263
store/elastic/filebeat:7.1.1
"/usr/local/bin/dock…"
43 hours ago
Up 18 hours
filebeat
1b0343b08877
logstash:7.1.1
"/usr/local/bin/dock…"
44 hours ago
Up 2 hours
0.0.0.0:5044->5044/tcp, 9600/tcp
logstash
eebdc6719d1a
elasticsearch:7.1.1
"/usr/local/bin/dock…"
4 days ago
Up 19 hours
0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp
elasticsearch