概述
Kafka没有采用类似于RabbitMQ的在消费端的消息确认机制,而是采用消息偏移量,让KafkaConsumer知道哪些消息已经消费了,还有哪些没有消费。
KafkaConsumer的“提交”动作就是往“_consumer_offset”的特殊主体发送消息,消息里包含了每个分区的偏移量。KafkaConsumer在每次进行poll时,都需要获得相应的分区最后一次提交的偏移量,然后从最新的偏移量开始读取。
对偏移量的提交机制在一些场景下会产生消息的丢失和重读,网上有很多关于丢失和重读的解释,以及解决办法。
下面这篇文章,较详细的解释了提交和偏移量的一些细节。
《深入解析Kafka消费者——提交和偏移量》https://blog.csdn.net/ljheee/article/details/81605754
最后
以上就是爱笑镜子为你收集整理的KafkaConsumer偏移量提交的全部内容,希望文章能够帮你解决KafkaConsumer偏移量提交所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复