windows使用docker搭建ELK(Elasticsearch、Logstash、Kibana),数据可视化环境,导入SQL server,MySQL数据

72 阅读 0 评论 48 点赞

我是靠谱客的博主甜美糖豆，最近开发中收集的这篇文章主要介绍windows使用docker搭建ELK(Elasticsearch、Logstash、Kibana),数据可视化环境,导入SQL server,MySQL数据，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

记录....配置ELK的全过程,其中为了方便配置和数据库的连接,logstash安装在物理机上,Elasticsearch 和Kibana安装在docker中

(PS:主要是记录过程,有些步骤带主观意味直接跳过,未做过多描述,有疑问的可以留言沟通!)

先决条件:

1.本机安装java1.8 jdr,并添加到环境变量(具体安装可以参考此篇文章:https://blog.csdn.net/zzq900503/article/details/9770237)

2.本机安装docker环境(下载地址:https://www.docker.com/products/docker-desktop,具体安装过程可以参考https://blog.csdn.net/vitaair/article/details/80894890)

配置过程

1.docker中安装es:

在powershell 中键入 'docker pull elasticsearch:7.3.0'(注意小写)

2.docker中安装kibana:

在powershell 中键入 'docker pull kibana:7.3.0'(注意小写)

3.windows安装logstash

在官网下载:https://www.elastic.co/cn/downloads/logstash,下载完成后解压在指定文件夹

图例是本次安装地址

启动实例

1.docker创建Elasticsearch,Kibanam

powershell 中键入 'docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.3.0'

创建名为 es的Elasticsearch实例

powershell 中键入 'docker run --name kibana730 -p 5601:5601 -d kibana:7.3.0'

创建名为 es的Elasticsearch实例

完成后键入'docker ps ' 查看创建好的实例

其中,这个地方需要对kibana做一个单独的另外修改(踩过的坑!)

键入'docker exec -it kibana /bin/bash'进入创建的kibana实例内部

进入到目录下,查看配置文件

键入 'cat kibana.yml'

将文件第一处红框的内的ip地址修改成和图例中一样,同时新建第一处红框中的内容(功能是:kibana汉化)

(PS:不知道怎么修改linux文件内容的童鞋,百度查查对应的指令,本文不做过多赘述)

修改完成后,

键入 'docker stop kibana' 停止实例

然后

键入 'docker start kibana' 开启实例

即可.

到这里,ES和Kibana已经全部创建完成,

打开浏览器:

http://192.168.99.100:5601 查看kibana

http://192.168.99.100:9200 查看 es

2.使用logstash进行将数据存入ES实例中

导入SQL server和MySQL数据,需要引入相应的驱动包:

SQL server驱动包 --链接: https://pan.baidu.com/s/1rU4bZvlY3S70aoUmdqXGpw 提取码: 2j13

MySQL驱动包--链接: https://pan.baidu.com/s/1FUGB6l4VFeSEc7CS0QbI3w 提取码: yjwp

下载完成后将文件放在 logstash 的lib目录下

(1).引入SQL server数据:

在logstash 的bin目录下新建一个 TestMssql.conf 文本文件,输入下列代码

input {
        jdbc {
				jdbc_driver_library => "F:logstash-7.3.1lib驱动包名"
				jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
                jdbc_connection_string =>         "jdbc:sqlserver://你的数据库ip地址;databaseName=你的数据库;"
                jdbc_user => "登录名"
                jdbc_password => "密码"
				jdbc_default_timezone => "Asia/Shanghai"
                 statement => "要执行的语句"
        }
}
}
output {
		elasticsearch {
		hosts => ["192.168.99.100:9200"]
		index => "logstash-要创建的索引名"
		}
}

按照中文提示,替换为相应的实际代码即可

(2).引入MySQL数据

在logstash 的bin目录下新建一个 TestMssql.conf 文本文件,输入下列代码

input {
        jdbc {
				jdbc_driver_library => "F:logstash-7.3.1lib驱动包名"
				jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
                jdbc_connection_string => "jdbc:mysql://你的数据库ip地址/数据库名?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8"
                jdbc_user => "你的登录名"
                jdbc_password => "你的密码"
				jdbc_default_timezone => "Asia/Shanghai"
                statement => "要执行的代码"
        }
}
output {
		elasticsearch{
			hosts => ["192.168.99.100:9200"]
			index => ["logstash-要创建的索引名"]
		}
}

按照中文提示,替换为相应的实际代码即可

创建过后,使用powershell 在 logstash 的bin 目录下执行

'.logstash -f .相应的文件名'

即可完成对数据的导入

图例(对每天登录数据的次数进行聚合统计展示)