我是靠谱客的博主 舒服香菇，最近开发中收集的这篇文章主要介绍搭建高可用kafka与zookeeper集群的填坑之路,及搭建KafkaEagle监控web平台前言，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
前言
首先确定kafka与zookeeper集群的调优方向
调大zookeeper的heap内存
调大zookeeper的heap内存，默认是1G，可以根据服务器大小配置其堆内存为2G或者4G，kafka实时传输的数据如果达到PB级别的话，得观察一下YGC和FGC的值可以适当再次调大。
修改kafka的副本数
修改kafka的副本数，默认的副本数是1，建议修改为2，如果副本数为2，那么容灾能力就是1，如果副本数3，则容灾能力就是2，当然副本数越多，可能会导致集群的性能下降，但是可靠性更强，各有利弊，推荐副本数为2。
kafka推荐分区数
kafka推荐分区数，默认的分区数是1，理论上来说，parition的数量小于core的数量的话，值越大，kafka的吞吐量就越高，但是你必须得考虑你的磁盘IO的瓶颈，因此我不推荐你将分区数这只过大，建议这个值大于broker的数量，比如集群broker的只有5台，集群的partition数量是20。
kafka的heap内存
kafka的heap内存，默认也是1G，生成环境中建议将它调大，不知道大家有没有发现，你broker的heap内存不管有多的，它都能给你吃满！在生成环境中给kafka的heap内存是6G，
最后
以上就是舒服香菇为你收集整理的搭建高可用kafka与zookeeper集群的填坑之路,及搭建KafkaEagle监控web平台前言的全部内容，希望文章能够帮你解决搭建高可用kafka与zookeeper集群的填坑之路,及搭建KafkaEagle监控web平台前言所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复