java Logstash 如何保证数据不丢失

109 阅读 0 评论 72 点赞

我是靠谱客的博主慈祥鸡翅，最近开发中收集的这篇文章主要介绍java Logstash 如何保证数据不丢失，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

用过ruby 版本的logstash 大家都知道，在input 数据消费进来之后，output数据要是失败了，就会扔掉，这个对数据要求较高的应用中是很难接受的。

举一个列，input kafka，output elasticsearch，在消费kafka数据到内存队列，在output到elasticsearche的时候，elasticsearch不可用，elasticsearc客户端会重试几次之后还是失败就会扔掉，重新消费kafka数据，ruby 版本的logstash 没有提供配置能保证数据不可丢失。

java 版本的logstash 在BaseOutput基类里面定义了一个sendFailedMsg 这个方法，这个方法就是有开发插件的开发人员自己写数据重试的逻辑，并且把失败的数据放在 BlockingQueue failedMsgQueue这个quene 里面，java logstash会在消费input quene 数据之前，先消费failedMsgQueue里面的数据，直到没有数据才会消费input quene里的数据，默认这个是关闭的，需要consistency这个字段设置为true。java logstash在应用在正常被kill时会监听input quene 判断里面是否还有数据，如果还有会让里面的数据消费完成，在停掉应用。