概述
1、原因：
我们使用Kafka时，某时需要消息消费是有序的，因此在生产者投递消息时，可能会指定分区，或者指定Key，此时可能会导致数据倾斜到某一个分区。
由于Kafka消费的特性，即一个消费组，那怕此时消费组有2个以上消费者，此时同一个主分区，只能被一个消费者消费，当生产消息大于消费消息时，就会出现单一分区数据倾斜。
2、解决：
根本原因，当指定分区，或者指定Key投递消息时。生产消息大于消费消息时，出现单一分区数据倾斜，此时消费端不能水平扩展。解决方案：
1、优化消费端的消费能力，如原来是200ms，优化后是50ms，当然可能无法优化;
2、二次消费用多个topic分摊分流消息，详细如下：
- 在消费端判定是哪个分区发生倾斜；
- 为这个发生倾斜的分区，建多个topic分摊分流，二次投递消费，水平扩展服务器；
- topic分摊分流，根据指定的Key，弄一个算法，以确保相同的Key落在同一个分区；
最后
以上就是高挑蓝天为你收集整理的Kafka数据倾斜到某一个分区解决方案1、原因：2、解决：的全部内容，希望文章能够帮你解决Kafka数据倾斜到某一个分区解决方案1、原因：2、解决：所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复