我是靠谱客的博主 踏实板凳,最近开发中收集的这篇文章主要介绍kafka生产者发送消息分区策略前言生产者发送消息的分区策略,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

前言

分区是kafka中一个很重要的部分,合理使用分区,可以提升kafka的整体性能

kafka分区好处

1、便于合理使用存储资源,每个Partition在一个Broker上存储,可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务,可以实现负载均衡的效果

2、提高并行度,生产者可以以分区为单位发送数据;消费者可以以分区为单位进行消费数据

3、在某些情况下,可以实现顺序消费

生产者发送消息的分区策略

我们在代码中找到ProducerRecord 这个类,可以看到有很多构造方法,即我们在调用API进行消息发送时可以选择的各种send消息的方式

下面结合这个类的几个构造方法,对生产者发送消息分区策略做简单的说明

1、默认情况下,kafka生产端采用的是DefaultPartitioner

既没有partition值又没有key值的情况下,Kafka采用Sticky Partition(黏性分区器),会随机选择一个分区,并尽可能一直使用该分区&#x

最后

以上就是踏实板凳为你收集整理的kafka生产者发送消息分区策略前言生产者发送消息的分区策略的全部内容,希望文章能够帮你解决kafka生产者发送消息分区策略前言生产者发送消息的分区策略所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(48)

评论列表共有 0 条评论

立即
投稿
返回
顶部