kafka-消息防丢失和消息去重
如何防止数据丢失生产者:同步发送消息,且消息配置为-1或all,leader分区和所有follwer都写到磁盘里。异步模式下,为防止缓冲区满,可以在配置文件设置不限制阻塞超时时间,当缓冲区满时让生产者一直处于阻塞状态。生产者:手动提交,即读取到消息后,确认消息消费完毕,才手动提交offset。但是要避免逻辑处理时间过长,导致连接超时,会使消息重复消费。故kafka一定要配置上消息重试的机制...