大数据平台搭建详细流程（五）Flume安装与Kafka集群搭建

五、Flume安装与Kafka集群搭建

5.1、Flume安装

1. 将Flume安装包导入hadoop102的/opt/software文件夹下

2. 解压Flume安装包至/opt/module/目录下

   [atguigu@hadoop102 software]$ tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
   

3. 重命名Flume安装路径

   [atguigu@hadoop102 module]$ mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume-1.9.0
   

4. 解决兼容性问题

   将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3
   [atguigu@hadoop102 lib]$  rm /opt/module/flume/lib/guava-11.0.2.jar
   

5. 修改日志打印位置

   对/opt/module/flume/conf目录下的log4j.properties文件进行修改

   #console表示同时将日志输出到控制台
   flume.root.logger=INFO,LOGFILE,console
   #固定日志输出的位置
   flume.log.dir=/opt/module/flume/logs
   #日志文件的名称
   flume.log.file=flume.log
   

6. 将Flume分发至集群

5.2、Kafka集群搭建

5.2.1、Kafka安装与配置

1. 将Kafka安装包导入hadoop102的/opt/software文件夹下

2. 解压Kafka安装包至/opt/module/目录下

   [atguigu@hadoop102 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
   

3. 修改Kafka配置文件/opt/module/kafka_2.12-3.0.0/config/server.properties

   #broker的全局唯一编号，不能重复，只能是数字。
   broker.id=2
   #kafka运行日志(数据)存放的路径，路径不需要提前创建，kafka自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
   log.dirs=/opt/module/kafka/datas
   #配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）
   zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
   

   注：broker.id需根据各主机进行修改，hadoop103修改为3，hadoop104修改为4

4. 在/etc/profile.d/my_env.sh文件中增加Kafka环境变量配置

   #KAFKA_HOME
   export KAFKA_HOME=/opt/module/kafka_2.12-3.0.0
   export PATH=$PATH:$KAFKA_HOME/bin
   

5. 分发Kafka以及环境变量至集群

5.2.2、Kafka集群启停脚本

1. 各主机逐一启动

   [atguigu@hadoop102 kafka_2.12-3.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties
   [atguigu@hadoop103 kafka_2.12-3.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties
   [atguigu@hadoop104 kafka_2.12-3.0.0]$ bin/kafka-server-start.sh -daemon config/server.properties
   

   注：在启动Kafka前务必启动Zookeeper

2. 启停脚本

   ①在/home/atguigu/bin目录下创建my_kafka脚本文件，并编写内容

   #! /bin/bash
   
   case $1 in
   "start"){
       for i in hadoop102 hadoop103 hadoop104
       do
           echo " --------启动 $i Kafka-------"
           ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-3.0.0/config/server.properties"
       done
   };;
   "stop"){
       for i in hadoop102 hadoop103 hadoop104
       do
           echo " --------停止 $i Kafka-------"
           ssh $i "/opt/module/kafka_2.12-3.0.0/bin/kafka-server-stop.sh "
       done
   };;
   esac
   

   ②启动与停止

   [atguigu@hadoop102 ~]$ my_kafka start/stop
   

最后

以上就是无心汽车为你收集整理的大数据平台搭建详细流程（五）Flume安装与Kafka集群搭建的全部内容，希望文章能够帮你解决大数据平台搭建详细流程（五）Flume安装与Kafka集群搭建所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。