勤劳嚓茶

文章
7
资源
0
加入时间
2年10月18天

Kafka重复消费的原因及解决方案问题分析

问题分析导致kafka的重复消费问题原因在于,已经消费了数据,但是offset没来得及提交(比如Kafka没有或者不知道该数据已经被消费)。常见以下场景导致Kakfa重复消费:1:强行kill线程,导致消费后的数据,offset没有提交(消费系统宕机、重启等)。2:设置offset为自动提交,关闭kafka时,如果在close之前,调用 consumer.unsubscribe() 则有可能部分offset没提交,下次重启会重复消费。例如:try { consumer.unsubscri