Kafka单机及伪集群模式部署及基本操作

一.下载，解压

二.启动服务器【先启动zookeeper】

Kafka使用ZooKeeper，因此如果还没有，请先启动ZooKeeper服务器。可以使用kafka的脚本随时来获取快速且高效的单节点ZooKeeper实例。
启动zookeeper：

启动Kafka：

三.创建topic

用一个分区和一个副本创建一个名为“ test1”的主题：

现在，运行list topic命令，可以看到该主题：

四.生产消息

Kafka带有一个命令行客户端，它将从文件或标准输入中获取输入，并将其作为消息发送到Kafka集群。默认情况下，每行将作为单独的消息发送。

运行生产者，然后在控制台中键入一些消息以发送到服务器。

五.消费消息

Kafka还有一个命令行使用者，它将消息转储到标准输出。

如果上面的每个命令都在不同的终端上运行，那么能够在生产者终端中键入消息，并看到它们出现在消费者终端中。
生产者：

消费者：

六.伪集群模式

对于Kafka来说，单个代理只是一个大小为1的集群，因此除了启动更多的代理实例之外，没有什么太大的变化。但是，只是为了感受一下，让我们将集群扩展到三个节点（仍然全部在本地计算机上）。

首先，我们为每个代理创建一个配置文件（在Windows上，使用copy命令代替）：

编辑这些新文件并设置以下属性：

编辑内容如下：

broker.id属性是集群中每个节点的唯一且永久的名称。我们只需要覆盖端口和日志目录，这是因为我们在同一台计算机上运行它们，并且希望所有代理都不要试图在同一端口上注册或覆盖彼此的数据。

已经有Zookeeper并启动了单个节点，因此只需要启动两个新节点：


查看：

现在，创建一个具有三个复制因子的新主题：

查看新主题类型：

这是输出的说明。第一行给出了所有分区的摘要，每一行都给出了有关一个分区的信息。由于该主题只有一个分区，因此只有一行。

• leader：负责给定节点分区的所有读取和写入操作。每个节点将成为分区的随机选择部分的leader。
• replicas：该分区复制日志的节点列表，无论它们是leader还是当前处于活动状态。
• isr：“同步”副本的集合。这是副本列表的子集，当前仍处于活动状态并追随leader。

向新主题发布一些消息：

使用这些消息：

测试一下容错能力。server-1扮演领导者的角色，所以让我们杀死它：

领导权已切换到关注者之一，并且节点1不再位于同步副本集中：

但是，即使最初进行写操作的领导者已经下线，消息仍然可以使用：

最后

以上就是个性草莓为你收集整理的Kafka单机及伪集群模式部署及基本操作的全部内容，希望文章能够帮你解决Kafka单机及伪集群模式部署及基本操作所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。