我是靠谱客的博主 爱笑镜子,最近开发中收集的这篇文章主要介绍KafkaConsumer偏移量提交,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

Kafka没有采用类似于RabbitMQ的在消费端的消息确认机制,而是采用消息偏移量,让KafkaConsumer知道哪些消息已经消费了,还有哪些没有消费。

KafkaConsumer的“提交”动作就是往“_consumer_offset”的特殊主体发送消息,消息里包含了每个分区的偏移量。KafkaConsumer在每次进行poll时,都需要获得相应的分区最后一次提交的偏移量,然后从最新的偏移量开始读取。

对偏移量的提交机制在一些场景下会产生消息的丢失和重读,网上有很多关于丢失和重读的解释,以及解决办法。

下面这篇文章,较详细的解释了提交和偏移量的一些细节。

《深入解析Kafka消费者——提交和偏移量》https://blog.csdn.net/ljheee/article/details/81605754

最后

以上就是爱笑镜子为你收集整理的KafkaConsumer偏移量提交的全部内容,希望文章能够帮你解决KafkaConsumer偏移量提交所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(44)

评论列表共有 0 条评论

立即
投稿
返回
顶部