概述
前文介绍了kafka的一些基本原理,接下来我们深入了解下关于kafka的一些机制和优化
partition 文件存储机制
前文提到过,一个topic是分成多个partition 存储的;topic是逻辑上的概念,partition是物理上的概念,如图所示:
通过图片我们可以看出,虽然每个partition内部是有序的,但对于整个topic而言它是无法保证有序性的。partition 的数据会以 日志文件的形式存储到磁盘中,在配置文件 server.properties
中通过属性 log.dirs
指定。在该文件夹下会根据topic和序号来创建文件夹,在该 partition 文件夹中以 .log
结尾的文件是实际存储数据的文件,当生产者生产数据,。以 .index
结尾的文件是索引文件,index 和log 组成一个 segment
。.log 文件默认只会保持7天内的数据,通过 log.retention.hours
配置项指定数据保持时长。当.log 文件超出最大值时会创建新的 .log文件和.index文件,也就是一个新的segment;其中文件的名
最后
以上就是冷静八宝粥为你收集整理的kafka ack设置_kafka 原理深度解读的全部内容,希望文章能够帮你解决kafka ack设置_kafka 原理深度解读所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复