概述
安装logstash
logstash的安装和elasticsearch的安装是一样简单的，就是那种拆箱即用的。目前最新的版本是5.5.0，注意这个版本需要和elasticsearch的版本一致。
下载安装
|
1
|
wget https:
//artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
|
下载完之后
|
1
|
unzip logstash-
5.5
.
0
.zip
|
之后将文件移动到自己存放的目录即可。
启动服务测试一下是否安装成功：
|
1
2
|
cd bin
./logstash -e
'input { stdin { } } output { stdout {} }'
|
如果出现下面的东西就表示成功：
输入随便什么内容：<喎�"/kf/ware/vc/" target="_blank" class="keylink">vcD4NCjxwcmUgY2xhc3M9"brush:java;"> HelloWorld
就会变成下面这样：
基本上这样就算是安装成功了（其实好像并没有安转，只是下载而已）
安装logstash-input-jdbc插件
在我安装完这东西之后，看到好像可以不用安装这个就可以直接和数据库同步的，但是由于重新安装太麻烦了，而且没有其他的服务器给我试，就没有去试试看行不行。
安装logstash是一件比较蛋疼的事，因为这东西适用ruby开发的，我对ruby这东西是一点也不懂，所以比较不好弄。
如果没有gem命令的话，需要先安装一下子（root用户才可以）
|
1
|
yum install gem
|
替换ruby镜像库为国内的库，因为国外的库，国内是访问不到的，然后国内有两个库，两个库都是可以用的：
1、替换成ruby-china的库
|
1
|
gem sources --add https:
//gems.ruby-china.org/ --remove https://rubygems.org/
|
查看是否成功
|
1
|
gem sources -l
|
2、国内还有一个库，是淘宝的：
|
1
|
gem sources --add https:
//ruby.taobao.org/ --remove https://rubygems.org/
|
可以同样用gem sources -l查看是否替换成功。
替换完之后，进入logstash-5.5.0，修改Gemfile文件里面的数据源：
|
1
|
vi Gemfile
|
修改成这个样子：
|
1
|
source
"https://gems.ruby-china.org"
|
如果用的用的是淘宝的库，就修改成这样
|
1
|
source
"https://ruby.taobao.org"
|
好了，这样ruby的安装环境就算是配好了。
进入到logstash的bin下
|
1
2
|
cd bin
./plugin install logstash-input-jdbc
|
等待一整子，挺久的，如果成功那就安装成功了。
如果不成功，可以尝试一下下面这个东西，如果没记错的话，我好像就是用这种方法安装的：
|
1
2
3
4
|
cd logstash-
5.5
.
0
wget https:
//github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
unzip v1.
0.0
.zip
cd logstash-input-jdbc-
1.0
.
0
/
|
修改Gemfile里面的source，和上面修改是一样的。
然后
|
1
|
vi logstash-input-jdbc.gemspec
|
再
|
1
2
3
|
s.files = `git ls-files`.split($)
改为：
s.files = [
".gitignore"
,
"CHANGELOG.md"
,
"Gemfile"
,
"LICENSE"
,
"NOTICE.TXT"
,
"README.md"
,
"Rakefile"
,
"lib/logstash/inputs/jdbc.rb"
,
"lib/logstash/plugin_mixins/jdbc.rb"
,
"logstash-input-jdbc.gemspec"
,
"spec/inputs/jdbc_spec.rb"
]
|
继续
|
1
|
gem build logstash-input-jdbc.gemspec
|
得到
|
1
2
3
|
cd ..
cd bin
./logstash install ../logstash-input-jdbc-
1.0
.
0
/logstash-input-jdbc-
1.0
.
0
.gem
|
然后等着就好了。如果提示成功了，就安装成功了，如果还是失败，多尝试几下第一种方式，我在另一个服务器尝试了几次第一种方式就莫名其妙成功了。如果还失败，就在查查资料吧。
测试一下安装成功了吗：
在此之前，需要一个mysql数据库连接包，mysql-connector-java-6.0.6.jar，随便什么版本应该都是可以的，可以使用wget下下来，也可以从本地下下来之后rz上传到服务器，这里就省略了。
在bin下新建一个目录config-mysql创建mysql.conf文件：
|
1
2
3
|
mkdir config-mysql
cd config-mysql
vim mysql.conf
|
在文件中输入下面的内容：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
input {
stdin { } jdbc { # 数据库 jdbc_connection_string => "jdbc:mysql://localhost:3306/troy" # 用户名密码 jdbc_user => "root" jdbc_password => "123456" # jar包的位置 jdbc_driver_library => "d:\mysql-connector-java-5.1.34" # mysql的Driver jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => "true" jdbc_page_size => "50000" #statement_filepath => "config-mysql/test02.sql" statement => "select * from t_detailed_list" schedule => "* * * * *" #索引的类型 type => "t_detailed_list" } } filter { json { source => "message" remove_field => ["message"] } } output { elasticsearch { hosts => "127.0.0.1:9200" # index名 index => "t_detailed_list" # 需要关联的数据库中有有一个id字段，对应索引的id号 document_id => "%{id}" } stdout { codec => json_lines } } |
注意关联的数据库表中需要有id字段用来映射形成的索引的id号。
终于把工作都做完了。
进入bin目录下：
|
1
|
./logstash -f config-mysql/mysql.conf
|
等一会之后，就会看到数据库中的数据被读取出来，然后加载进索引，在sense可以查询到刚刚添加的索引的
|
1
|
GET /_search
|
然后往数据库中添加一些新的数据之后等待大概30S之后重新索引，就会看到索引被更新了。回到linux下，会看到，没过一段时间，logstash就会重新扫描一下数据库，通过这样的方式，实现和mysql数据库的同步。
最后
以上就是个性星星为你收集整理的logstash安装和logstash-input-jdbc插件 安装logstash 安装logstash-input-jdbc插件的全部内容，希望文章能够帮你解决logstash安装和logstash-input-jdbc插件 安装logstash 安装logstash-input-jdbc插件所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
发表评论 取消回复