flume+kafka+zookeeper+storm实时计算环境搭建(一)

75 阅读 0 评论 50 点赞

我是靠谱客的博主愤怒棉花糖，最近开发中收集的这篇文章主要介绍flume+kafka+zookeeper+storm实时计算环境搭建(一)，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

环境准备
1.JDK10
2.ubuntu16.04，centos7
3.flume1.8.0
4.zookeeper3.4.13
5.storm1.2.2
6.kafka2.0.0

这里我用的三台虚拟机搭建的集群，主节点(master)用的ubuntu16.04，从节点分别用centos7搭建slave1，slave2，组成分布式集群

下载vmare：
https://my.vmware.com/cn/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0
下载之后安装，此处省略

ubuntu1604下载：
https://www.ubuntu.com/download/desktop

centos7下载：
这里我下载的mini版，不是桌面版的
http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

安装完虚拟机之后
注意：centos需要改一下网络文件才能连上网，
先下载vim编辑器
yum install vim
然后配置网络文件
cd /etc/sysconfig/network-scripts
在这里插入图片描述
sudo vim ifcfg-ens33
将onboot改成yes

然后ip add看下ip地址

下载
JDK10
下载地址：
https://www.oracle.com/technetwork/java/javase/downloads/jdk10-downloads-4416644.html

安装jdk
首先将jdk10复制进ubuntu，有了vmware tools只需要在本地windows下载好之后点复制然后鼠标点进虚拟机粘贴就可以了
解压jdk
tar -zxvf ~/Desktop/jdk-10.0.2_linux-x64_bin.tar.gz
sudo mv jdk-10.0.2 jdk10
sudo mv jdk10 /usr/local
修改环境变量
sudo vim /etc/profile
在这里插入图片描述

#set jdk10
export JAVA_HOME=/usr/local/jdk10
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

然后source /etc/profile使刚才的配置生效
检测JDK是否配好
java -version
在这里插入图片描述
如果出现这个java环境就配好了

修改hostname和hosts
在ubuntu中
sudo vim /etc/hostname
在这里插入图片描述
在另外两台centos7中用上面的命令分别改为slave1，slave2

修改hosts
sudo vim /etc/hosts
在这里插入图片描述
在其他两台虚拟机也这样配置，前面为这三台虚拟机的ip地址，后面为虚拟机的hostname，中间用tab建隔开
然后reboot重启一下使配置生效

新建用户和用户组
新建用户storm
useradd storm
用户登录密码
passwd 123
新建storm用户组
groupadd -g storm
将用户storm分配到storm用户组
usermod -g storm storm
为用户storm分配权限
sudo vim /etc/sudoers
在这里插入图片描述

SSH免密配置
ssh是虚拟机相互通信的工具，centos7需要先安装ssh-server服务
yum install ssh-server
获取ssh公钥
ssh-keygen -t rsa
会生成一个.ssh的目录
进入.ssh目录将公钥写入到一个文件
cd ~/.ssh
cat rsa.pub > authorized_keys
分别将那两个centos7的公钥也发过来重定位到authorized_keys文件中
最后，sudo chown 600 authorized_keys
再将authorized_keys文件分别发给另外两台centos7
scp -t storm@slave1:~/.ssh
scp -t storm@slave2:~/.ssh
至此ssh免密登录配置完成
通过ssh slave1来访问其他虚拟机