我是靠谱客的博主 爱笑镜子,这篇文章主要介绍KafkaConsumer偏移量提交,现在分享给大家,希望可以做个参考。

Kafka没有采用类似于RabbitMQ的在消费端的消息确认机制,而是采用消息偏移量,让KafkaConsumer知道哪些消息已经消费了,还有哪些没有消费。

KafkaConsumer的“提交”动作就是往“_consumer_offset”的特殊主体发送消息,消息里包含了每个分区的偏移量。KafkaConsumer在每次进行poll时,都需要获得相应的分区最后一次提交的偏移量,然后从最新的偏移量开始读取。

对偏移量的提交机制在一些场景下会产生消息的丢失和重读,网上有很多关于丢失和重读的解释,以及解决办法。

下面这篇文章,较详细的解释了提交和偏移量的一些细节。

《深入解析Kafka消费者——提交和偏移量》https://blog.csdn.net/ljheee/article/details/81605754

最后

以上就是爱笑镜子最近收集整理的关于KafkaConsumer偏移量提交的全部内容,更多相关KafkaConsumer偏移量提交内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(128)

评论列表共有 0 条评论

立即
投稿
返回
顶部