我是靠谱客的博主 开心红牛，最近开发中收集的这篇文章主要介绍日志 错误偏移量_Kafka 事务之偏移量的提交对数据的影响一、偏移量提交二、自动提交三、手动提交四、监听再均衡，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
一、偏移量提交
消费者提交偏移量的主要是消费者往一个名为_consumer_offset的特殊主题发送消息，消息中包含每个分区的偏移量。 如果消费者一直运行，偏移量的提交并不会产生任何影响。但是如果有消费者发生崩溃，或者有新的消费者加入消费者群组的时候，会触发 Kafka 的再均衡。这使得 Kafka 完成再均衡之后，每个消费者可能被会分到新分区中。为了能够继续之前的工作，消费者就需要读取每一个分区的最后一次提交的偏移量，然后从偏移量指定的地方继续处理。 但是这样可能会出现如下的问题。1.1 提交偏移量小于客户端处理的偏移量
如果提交的偏移量小于客户端处理的最后一个消息的偏移量，那么处于两个偏移量之间的消息就会被重复处理。
1.2 提交偏移量大于客户端处理的偏移量
最后
以上就是开心红牛为你收集整理的日志 错误偏移量_Kafka 事务之偏移量的提交对数据的影响一、偏移量提交二、自动提交三、手动提交四、监听再均衡的全部内容，希望文章能够帮你解决日志 错误偏移量_Kafka 事务之偏移量的提交对数据的影响一、偏移量提交二、自动提交三、手动提交四、监听再均衡所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复