Kafka的组成

一、服务器硬件依赖部分
1.kafka为分布式，需依赖多台服务器
2.每台机器为一台broker
3.一台broker对应多topic队列
4.一topic队列可切成多partition队列
5.partition包含segment
6.segemnt由.log和.index文件构成，index搜，log存
(7.每个partition内有多个分区，分区内有副本机制。以主从形式对其进行备份)

二、逻辑部分
1.生产者：source，拉数据
2.消费者：sink，消费数据
3.消费者组： 多消费者组成，组内每个消费者消费不同partition分区。不同组的消费者可以消费同一个partition

三、完整性部分
1.容灾：以partition为单位保存副本，副本包含一个leader和多个follower
2.leader：生产者往这里发数据，消费者从这消费数据，副本里的大哥
3.follower：副本里的弟弟，实时保持和leader的同步，leader故障它就上当大哥

关于队列：
1.点对点：生产 -> 消费，消费完就没
2.订阅/发布：生产 -> channel -> 消费，消费者谁要谁从channel中拉，马上消费完还存着

数据可靠性：
partition收到消息后向producer返回ack
0 ：未接收消息即返回
1 ：leader落盘返回
-1：全部follower落盘返回

拦截器：
实现数据的增删改的，实现接口，加个时间戳，统计某个值都ok、

分区器：
实现partition接口，设置不同数据进入哪个不同的分区

监控器：
8084web上自己看

最后

以上就是无聊彩虹为你收集整理的Kafka的组成的全部内容，希望文章能够帮你解决Kafka的组成所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。