Kafka知识点总结

89 阅读 0 评论 59 点赞

我是靠谱客的博主饱满凉面，最近开发中收集的这篇文章主要介绍Kafka知识点总结，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

下图所体现出来的知识点：
在这里插入图片描述

红色字体表示隐藏知识点

1、kafka生态系统四大角色：生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、Zookeeper。
2、每个消费者都必须属于一个消费组，一个组内的消费者可以有多个。
3、一个Topic（主题）可以有1到多个Partition（分区）。
4、一个Partition可以有1到多个 segment。
5、每个 segment 由一个 log 和一个 index 文件组成。
6、被复制的分区叫做 Leader（主副本），复制出来的叫做 Follower（从副本）。
7、生产者只往主副本写数据，消费者只从主副本拉取数据。
8、从副本只做数据备份，不做数据读写。

9、一个分区内的一条数据，只能被一个消费组内的一个消费者消费。
10、消费者的最大并发度由 topic 的分区数量决定。
11、分区副本的数量必须小于等于 broker 的数量。
12、一个 topic 内的多个分区，每个分区只是所有数据的一部分。所有分区的数据累加到一起是这个 topic 的全部数据。
13、zookeeper 中记录了 broker 的 id 、消费者消费数据的 offset，消费者与partition的对应关系（ConsumerA—>Partition-0,ConsumerB—>Partition-1）

1、什么是kafka

是一个分布式、分区的、多副本的、多订阅者的消息发布订阅系统。

2、kafka的使用场景

应用耦合
异步处理
削峰限流
消息驱动的系统

如何理解参考：https://blog.csdn.net/wzc8961661/article/details/104913727

3、kafka优点

可靠性强（分布式-分区-副本）
扩展性强（可伸缩）
性能高（数据读写）
耐用性强（数据持久化）
时效性强

4、kafka缺点

由于是批量发送，数据并非真正的实时。
仅支持同一分区内消息有序，无法实现全局消息有序。
有可能导致消息重复消费。
依赖 zookeeper 进行元数据管理。

5、kafka架构（流程）

生产者（Producer）—>
kafka集群（Broker）—>
消费者（Consumer）—>
zookeeper。

6、kafka架构（API）

生产者（Producer）—>
消费者（Consumer）—>
StreamAPI（实时流）—>
ConnectAPI（连接）。

**7、Topic 内部有哪些组成 **

每个 Topic 包含一个或多个 Partition（分区）
一个 Partition（分区）中存在多个 segment 文件段
每个 segment 分为两部分：.log 文件和 .index 文件

8、分区和消费组内的消费者之间的关系有哪些情况？

Partition = 消费任务的并发度=刚刚好，每个任务读取一个 Partition数据
Partition > 消费任务的并发度=有部分消费任务读取多个分区的数据
Partition < 消费任务的并发度=有部分消费任务空闲（可以创建多于分区的消费者数量）

9、分区数、消费者与读取效率之间的关系

分区数越多，同一时间可以有越多的消费者来进行消费，消费数据的速度就会越快，提高消费的性能

10、副本数与 Broker 之间的关系

数据副本（包含本身）数一般情况下小于等于 Broker 的个数

11、什么是主/从副本

被复制的分区叫做主副本（Leader）
复制出来的叫做从副本（Follower）

12、主/从副本的作用是什么

主副本负责数据的读写
从副本只做数据备份，不做数据读写

13、LSR是什么

lsr 是一组与 leaders 完全同步的消息副本（包括 leaders 本身）

14、生产者生产数据到kafka集群，数据到分区的方式

a、没有指定分区编号，没有指定 key 时，采用轮询方式发送数据
b、没有指定分区编号，指定 key 时，数据分发策略为对 key 取 hash 值，这个值与分区数量取余，余数就是分区编号。
c、指定分区编号，所有数据输入到指定的分区内
d、自定义分区

15、Consumer 消费数据的流程

a、首先 Consumer 连接指定的 Topic partition 所在的 leader broker，使用折半/二分查找，先确定数据所在的 segment
b、确定在哪个 segment 后，使用确定的 segment 内的 index 文件，找到数据具体的位置采用 pull 方式从 kafkalogs 中获取消息

16、kafka 中的数据删除机制是什么

a、时间维度：默认存储168小时（一周）
b、数据大小：默认 -1（不删除），可以自行设置

17、kafka 如何保证数据不丢失

a、生产者如何保证数据不丢失？
答：通过 ack 机制，确保数据不丢失
b、kafka 集群如何保证数据不丢失？
答：通过数据副本保证数据不丢失
c、消费者如何保证数据不丢失？
答：通过维护数据的 offset（偏移量）值保证数据不丢失

18、kafka 高性能的原因有哪些

顺序读写
分区
批量发送
数据压缩

19、kafka 高效查询数据的原因有哪些

a、kafka 把 topic 中一个 partition 大文件分成多个小文件段（segment），通过多个小文件段，就容易定期清除或删除已经消费完的文件，减少磁盘占用
b、通过索引信息可以快速定位 message 和确定 response 的最大大小
c、通过 index 元数据全部映射到 memory，可以避免 segment file 的 IO 磁盘操作
d、通过索引文件稀疏存储，可以大幅降低 index 文件元数据占用空间大小

20、如何从 kafka 得到准确的信息（不是重读数据）

a、在数据生产过程中避免重复
b、在数据消耗过程中避免重复

21、kafka 的设计是什么样的

kafka将消息以 topic 为单位进行归纳，将向 kafka topic 发布消息的程序称为 producer，将预定 topic 并消费消息的程序称为 consumer。
kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker
producer 通过网络将消息发送到 kafka 集群，集群向消费者提供消息

22、数据传输的事务定义有哪三种

a、最多一次：消息不会被重复发送，最多被传输一次，但也有可能一次不传输，可能会造成数据丢失
b、最少一次：消息不会被漏发送，最少被传输一次，但也有可能被重复传输，可能会造成数据的重复消费
c、精确的一次（Exactly once）：不会漏传输也不会重复传输，每个消息都传输一次而且仅仅被传输一次，这是大家所期望的

23、kafka 判断一个节点是否还活着有哪些条件

a、节点必须可以维护 zookeeper 的连接，zookeeper 通过心跳机制检查每个节点的连接
b、如果节点是个 follower，它必须能及时同步 leader 的写从操作，延时不能太久

24、kafka 与传统消息系统之间有哪些区别

a、kafka 持久化日志：这些日志可以被重复读取和无限期保留
b、kafka 是一个分布式系统：它以集群的方式运行，可以灵活伸缩，在内部通过复制数据提升容错能力和高可用性
c、kafka 支持实时的流式处理

25、kafka 创建 topic 时将分区放置到不同的 Broker 的策略是什么

前提：副本因子不能大于 Broker 的个数
第一个分区（编号为0）的第一个副本放置位置是随机从 BrokerList 选择的
其他分区的第一个副本放置位置相对于第一个分区（编号为0）依次往后移
例如：有5个 Broker，5个分区，假设第一个分区放在第四个 Broker 上；那么第二个分区将会放在第五个 Broker 上；第三个分区将会放在第一个 Broker 上；第四个分区将会放在第二个 Broker 上；第五个分区将会放在第三个 Broker 上。

26、kafka 新建的分区会在那个目录创建

若 log.dirs 参数只配置了一个目录，那么分配到各个 Broker 上的分区将在这个目录下创建文件夹用于存放数据
若 log.dirs 参数配置了多个目录，那么 kafka 会在含有分区目录总数最少的文件夹中创建新的分区目录，分区目录名为：Topic 名 + 分区 ID。注意：不是磁盘使用量最少的目录

27、Partition （分区）的数据如何保存到硬盘

Topic 中的多个 Partition 以文件夹的形式保存到 Broker，每个分区序号从0递增，且消息有序，Partition文件下有多个 segment（xxx.index，xxx.log）segment 文件里的 大小和配置文件大小一致，可以根据要求修改，默认为 1G，如果大小大于 1G时，会滚动一个新的 segment，并且以上一个 segment 最后一条消息的 offset（偏移量）来命名

28、kafka 的 ack 机制

request.required.acks 有三个值：0 1 -1
0：生产者不会等待 broker 的 ack，这个延迟最低但是存储的保证最弱，当 server 挂掉的时候就会丢失数据
1：服务端会等待 ack 值，leader 副本确认接收到消息后发送 ack，但是如果 leader 挂掉后，它不确保是否复制完成的新 leader 也会导致数据丢失
-1：同样在 1 的基础上，服务端会等所有的 follower 的副本收到数据后才会收到 leader 发出的 ack，这样数据不会丢失

29、kafka 的消费者如何消费数据