cdh5.10安装的kafka版本为:2.2.1-kafka-4.1.0,安装成功后看到kafka快速开始的第一条命令为创建kafka-topics.sh,执行find / -name "kafka-topics.sh",
路径为/opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4/lib/kafka/bin/,进入此路径,执行如下命令():
创建一个topic:
./kafka-topics.sh --create --topic quickstart-events2 --bootstrap-server CDH02:9092 --partitions 1 --replication-factor 4
查验创建好的topic:
./kafka-topics.sh --describe --topic quickstart-events2 --bootstrap-server CDH02:9092
执行kafka-console-producer.sh生产数据(此步报错Connection to node -1 could not be established. Broker may not be available,百度后查得需修改server.properties,执行find / -name "server.properties",执行 vi /opt/cloudera/parcels/KAFKA-4.1.0-1.4.1.0.p0.4/etc/kafka/conf.dist/server.properties,修改两处地方:listeners=PLAINTEXT://192.168.123.202:9092和advertised.listeners=PLAINTEXT://192.168.123.202:9092):
./kafka-console-producer.sh --broker-list CDH02:9092 --topic quickstart-events2
执行kafka-console-consumer.sh消费数据:
./kafka-console-consumer.sh --bootstrap-server CDH02:9092 --topic quickstart-events2 --from-beginning
执行如上命令不报错,但是consumer接收不到数据,于是在百度搜索“kafka消费不到数据也不报错”,找到https://blog.csdn.net/haoxiaoyan/article/details/90269305,在cdh中kafka的实例添加两个主机后(之前是一个)执行以上命令,成功消费到数据。
最后
以上就是贪玩胡萝卜最近收集整理的关于kafka使用与报错解决的全部内容,更多相关kafka使用与报错解决内容请搜索靠谱客的其他文章。
发表评论 取消回复