CDH5.12.X添加Kafka服务

    最近有同学问我CDH怎么安装Kafka服务，正好我之前也有安装过，在这里将安装过程记录一下，方便各位同学过坑！

    既然已经安装了CDH,那么我们在安装kafka服务的时候,很自然的直接添加服务：

    但是有提示:Before adding this service, ensure that either the Kafka parcel is activated or the Kafka package is installed. 这样子直接添加kafka的服务是不正确的。先来看一下官网是怎么说的:https://www.cloudera.com/documentation/kafka/1-2-x/topics/kafka_install.html

To install Apache Kafka:

1Download the Kafka CSD here.

2Install the CSD into Cloudera Manager as instructed in Custom Service Descriptor Files. This adds a new parcel repository to your Cloudera Manager configuration. The CSD can only be installed on parcel-deployed clusters.

3Download, distribute, and activate the Kafka parcel, following the instructions in Managing Parcels. After you activate the Kafka parcel, Cloudera Manager prompts you to restart the cluster. Click the Close button to ignore this prompt. You do not need to restart the cluster after installing Kafka.

4Add the Kafka service to your cluster, following the instructions in Adding a Service.

Cloudera strongly recommends that you deploy Kafka on dedicated hosts that are not used for other cluster roles.

这里按照官网的说明添加kafka服务是肯定没有问题的.

但是呢,我们都是因为懒才使用CDH的,那么可不可以只是点点鼠标就可以在CDH集群上添加kafka的服务呢?答案是可以的.

在CDH上动动鼠标添加kafka服务:

1.在Cloudera Manager页面找到主机->Parcel点击进入

2.在页面的Parcel列找到KAFKA并点击下载,下载完成后点击 分配 进行分配,然后点击 激活, 出现 已分配,已激活 证明分配激活成功

    回到Cloudera Manager页通过添加服务添加kafka服务,但是在启动kafka服务的过程中又报错了:

    报的错误是内存溢出错误,默认的是50M,

    内存溢出错误问题解决:回到Cloudera Manager页面进入Kafka管理界面,点击配置项,然后在其配置栏中点击 kafka  broker  找到Heap Size of Broker这一栏,改成1G就可以了,然后保存更改重启该服务

        好了，到这里就已经在CDH上正确安装Kafka服务了，下一步就是配置kafka的配置了！

最后

以上就是整齐大叔为你收集整理的CDH5.12.X添加Kafka服务的全部内容，希望文章能够帮你解决CDH5.12.X添加Kafka服务所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。