大数据集群搭建一、安装 jdk二、安装 tomcat三、安装 mysql四、搭建集群 (三台)

110 阅读 0 评论 73 点赞

我是靠谱客的博主犹豫黄豆，这篇文章主要介绍大数据集群搭建一、安装 jdk二、安装 tomcat三、安装 mysql四、搭建集群 (三台)，现在分享给大家，希望可以做个参考。

一、安装 jdk

二、安装 tomcat

三、安装 mysql

四、搭建集群 (三台)

4.1 新增 linux 系统

4.2 关闭防火墙

4.3 关闭 selinux

4.4 配置 hosts 文件

4.5 scp 远程文件拷贝

4.5.1 本地机器内容拷贝到远程机器

4.5.2 远程机器内容拷贝到本地机器

4.6 ssh 远程登录

4.6.1 使用 ssh 基于密码的远程登录 (了解)

4.6.2 使用 ssh 基于秘钥的免密码登录 (掌握)

4.7 三台机器时钟同步

4.7.1 同步互联网时间

4.7.2 跟内网某台机器同步时间

一、安装 jdk

第一步: 查看当前系统中是否已安装了 JDK

复制代码

1
2
3
4
[root@hadoop01 ~]# java -version
java version "1.7.0_261"
OpenJDK Runtime Environment (rhel-2.6.22.2.el7_8-x86_64 u261-b02)
OpenJDK 64-Bit Server VM (build 24.261-b02, mixed mode)

第二步: 查询已安装的 JDK

复制代码

1
2
3
4
5
6
7
[root@hadoop01 ~]# rpm -qa | grep java
java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
tzdata-java-2020a-1.el7.noarch
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
python-javapackages-3.4.1-11.el7.noarch

第三步: 卸载 Linux 系统提供的 JDK

复制代码

1
[root@hadoop01 ~]# yum remove *openjdk*

第四步: 下载 JDK 安装包

下载链接: Java Downloads | Oracle

官网下载需要登录, 使用这个网站的账户和密码进行登录下载:

oracle.com passwords - BugMeNot

第五步: 上传安装包到 /export/software, 解压到 /export/servers

复制代码

1
2
[root@hadoop01 ~]# mkdir -p /export/software    # 创建保存软件包目录
[root@hadoop01 ~]# mkdir -p /export/servers    # 创建安装软件目录

复制代码

1
2
# 将压缩包解压到指定目录
[root@hadoop01 ~]# tar -zxvf /export/software/jdk-8u341-linux-x64.tar.gz -C /export/servers/

第六步: 将 JDK 路径放到环境变量中

目的: 为了能在任何目录下都可以使用 javac 和 java

(1). 新建 /etc/profile.d/my_env.sh 文件, 添加内容后保存退出

复制代码

1
2
3
4
5
6
[root@hadoop01 ~]# vim /etc/profile.d/my_env.sh

# 添加以下内容
#JAVA_HOME
export JAVA_HOME=/export/servers/jdk1.8.0_341
export PATH=$PATH:$JAVA_HOME/bin

(2). source 一下 /etc/profile 文件, 让新的环境变量 PATH 生效

复制代码

1
[root@hadoop01 ~]# source /etc/profile

第七步: 测试是否安装成功

复制代码

1
2
3
4
[root@hadoop01 ~]# java -version
java version "1.8.0_341"
Java(TM) SE Runtime Environment (build 1.8.0_341-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.341-b10, mixed mode)

二、安装 tomcat

第一步: 下载 tomcat 安装包

下载链接: Apache Tomcat® - Apache Tomcat 9 Software Downloads

复制代码

1
2
[root@hadoop01 ~]# mkdir -p /export/software    # 文件上传目录
[root@hadoop01 ~]# mkdir -p /export/servers    # 文件安装目录

第三步: 上传安装包到 /export/software 目录下

第四步: 将安装包解压到 /export/servers 目录下

复制代码

1
[root@hadoop01 ~]# tar -zxvf /export/software/apache-tomcat-9.0.67.tar.gz -C /export/servers/

第五步: 启动 tomcat

复制代码

1
2
3
4
5
6
7
8
9
[root@hadoop01 ~]# cd /export/servers/apache-tomcat-9.0.67/bin/    # 进入到bin目录下 
[root@hadoop01 bin]# ./startup.sh     # 启动
Using CATALINA_BASE:   /export/servers/apache-tomcat-9.0.67
Using CATALINA_HOME:   /export/servers/apache-tomcat-9.0.67
Using CATALINA_TMPDIR: /export/servers/apache-tomcat-9.0.67/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /export/servers/apache-tomcat-9.0.67/bin/bootstrap.jar:/export/servers/apache-tomcat-9.0.67/bin/tomcat-juli.jar
Using CATALINA_OPTS:   
Tomcat started.

提示: 防火墙要么关闭, 要么开放 tomcat 指定的端口, 否则无法访问

第六步: 测试

访问 http://192.168.224.129:8080/

这里的 ip 地址是自己虚拟机的 ip 地址, 出现以下界面说明成功

三、安装 mysql

第一步: 查询系统自带的 mysql

复制代码

1
2
rp[root@hadoop01 ~]# rpm -qa | grep mariadb
mariadb-libs-5.5.68-1.el7.x86_64

第二步: 卸载系统自带的 mysql

复制代码

1
[root@hadoop01 ~]# rpm -e --nodeps mariadb-libs

第三步: 下载 mysql 安装包

下载链接: MySQL :: Download MySQL Community Server (Archived Versions)

第四步: 创建 mysql 安装包存放点

复制代码

1
[root@hadoop01 ~]# mkdir -p /export/software/mysql

第五步: 将 mysql 安装包上传到 /export/software/mysql 下解压

上传:

解压:

复制代码

1
2
3
4
5
6
7
8
9
10
11
[root@hadoop01 ~]# tar -xvf /export/software/mysql/mysql-8.0.28-1.el7.x86_64.rpm-bundle.tar 
mysql-community-client-8.0.28-1.el7.x86_64.rpm
mysql-community-client-plugins-8.0.28-1.el7.x86_64.rpm
mysql-community-common-8.0.28-1.el7.x86_64.rpm
mysql-community-devel-8.0.28-1.el7.x86_64.rpm
mysql-community-embedded-compat-8.0.28-1.el7.x86_64.rpm
mysql-community-icu-data-files-8.0.28-1.el7.x86_64.rpm
mysql-community-libs-8.0.28-1.el7.x86_64.rpm
mysql-community-libs-compat-8.0.28-1.el7.x86_64.rpm
mysql-community-server-8.0.28-1.el7.x86_64.rpm
mysql-community-test-8.0.28-1.el7.x86_64.rpm

第六步: 执行安装

注意: 包与包存在依赖关系, 需要按照顺序安装

第七步: 初始化 mysql

复制代码

1
[root@hadoop01 ~]# mysqld --initalize --console

第八步: 更改所属组

复制代码

1
[root@hadoop01 ~]# chown -R mysql:mysql /var/lib/mysql

第九步: 启动 mysql

复制代码

1
[root@hadoop01 ~]# systemctl start mysqld

第十步: 查看生产的临时 root 密码

第十一步: 登录, 修改临时密码

复制代码

1
2
[root@hadoop01 ~]# mysql -u root -p
Enter password:     # 这里输入刚刚获取到的临时密码

修改临时密码

复制代码

1
2
mysql> alter user 'root'@'localhost' identified by 'Titanfall2.';
Query OK, 0 rows affected (0.00 sec)

第十二步: 授权远程登录

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 授权
mysql> create user 'root'@'%' identified by 'Titanfall2.';
Query OK, 0 rows affected (0.01 sec)

mysql> grant all on *.* to 'root'@'%';
Query OK, 0 rows affected (0.00 sec)

mysql> alter user 'root'@'%' identified with mysql_native_password by 'Titanfall2.';
Query OK, 0 rows affected (0.00 sec)


# 立即生效
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

第十三步: 建议设置为开机自启动服务

复制代码

1
[root@hadoop01 ~]# systemctl enable mysqld

四、搭建集群 (三台)

4.1 新增 linux 系统

第一步: 克隆虚拟机 (克隆前将虚拟机关机)

克隆完成

第二步: 修改主机名

复制代码

1
vim /etc/hostname

修改后保存退出, 重启生效

第三步: 修改网卡信息

复制代码

1
vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改完成后保存退出

复制代码

1
systemctl restart network    # 重启网卡

4.2 关闭防火墙

三台机器关闭防火墙

内网环境安全性比较高, 防火墙开启会影响效率, 所以关闭防火墙

三台机器执行以下命令 (root 用户来执行)

复制代码

1
2
systemctl stop firewalld    # 临时关闭防火墙
systemctl disable firewalld    # 关闭防火墙自启

4.3 关闭 selinux

三台机器关闭 selinux

复制代码

1
vim /etc/selinux/config

4.4 配置 hosts 文件

三台机器配置 hosts 文件

复制代码

1
vim /etc/hosts

修改完成后, 重启系统生效

4.5 scp 远程文件拷贝

scp 是 remote file copy program 的缩写, scp 是远程文件拷贝命令

4.5.1 本地机器内容拷贝到远程机器

4.5.1.1 拷贝文件

1. 语法格式: scp local_file remote_username@remote_ip:remote_folder

2. 案例实操: 将 hadoop01 的三个文件复制到 hadoop02 机器的 /root 目录下

准备工作: 在 hadoop01 的 root 目录下创建三个 .txt 文件

复制代码

1
2
3
[root@hadoop01 ~]# touch 1.txt 
[root@hadoop01 ~]# touch 2.txt
[root@hadoop01 ~]# touch 3.txt

拷贝文件:

复制代码

1
2
3
[root@hadoop01 ~]# scp /root/1.txt root@192.168.224.130:/root/    # 方式一
[root@hadoop01 ~]# scp /root/2.txt root@hadoop02:/root/    # 方式二
[root@hadoop01 ~]# scp /root/3.txt hadoop02:/root/    # 方式三

4.5.1.2 拷贝目录

1. 语法格式: scp -r local_folder remote_username@remote_ip:remote_folder

2. 案例实操: 将 hadoop01 的三个目录复制到 hadoop03 机器的 /root 目录下

准备工作: 在 hadoop01 的 root 目录下创建三个目录

复制代码

1
2
3
[root@hadoop01 ~]# mkdir -p aa/bb/cc
[root@hadoop01 ~]# mkdir -p dd/ee/ff
[root@hadoop01 ~]# mkdir -p gg/hh/ii

拷贝目录:

复制代码

1
2
3
[root@hadoop01 ~]# scp -r /root/aa/bb/cc/ root@192.168.224.130:/root/
[root@hadoop01 ~]# scp -r /root/dd/ee/ff/ root@hadoop02:/root/
[root@hadoop01 ~]# scp -r /root/gg/hh/ii/ hadoop02:/root/

4.5.2 远程机器内容拷贝到本地机器

4.5.2.1 拷贝文件

1. 语法格式: remote_username@remote_ip:remote_file local_folder

2. 案例实操: 将 hadoop02 中 /root 目录下的 .txt 文件复制到 hadoop01 的 /root目录下

准备工作: 在 hadoop02 的 /root 目录下创建三个 .txt 文件

复制代码

1
2
3
[root@hadoop02 ~]# touch a.txt
[root@hadoop02 ~]# touch b.txt
[root@hadoop02 ~]# touch c.txt

拷贝文件:

复制代码

1
2
3
[root@hadoop01 ~]# scp root@192.168.224.130:/root/a.txt /root/    # 方式一
[root@hadoop01 ~]# scp root@hadoop02:/root/b.txt /root/    # 方式二
[root@hadoop01 ~]# scp hadoop02:/root/c.txt /root/    # 方式三

4.5.2.2 拷贝目录

1. 语法格式: scp -r remote_username@remote_ip:remote_folder local_folder

2. 案例实操: 将 hadoop02 中 /root 目录下的三个文件夹复制到 hadoop01 的 /root 目录下

准备工作: 在 hadoop02 的 /root 目录下创建三个文件夹

复制代码

1
2
[root@hadoop02 ~]# mkdir a
[root@hadoop02 ~]# mkdir b

拷贝目录:

复制代码

1
2
[root@hadoop01 ~]# scp -r root@192.168.224.130:/root/a /root    # 方式一
[root@hadoop01 ~]# scp -r hadoop02:/root/b /root    # 方式二

4.6 ssh 远程登录

4.6.1 使用 ssh 基于密码的远程登录 (了解)

1.命令

命令: ssh ip地址含义: 远程登录到指定服务器上(必须知道正确的密码)

2.案例实操

在 hadoop01 机器上登录到 hadoop02 机器

复制代码

1
2
[root@hadoop01 ~]# ssh hadoop02
root@hadoop02's password:

细节: 首次远程登录会询问 yes/no, 以后可能就不会了

4.6.2 使用 ssh 基于秘钥的免密码登录 (掌握)

1. 生成公钥和私钥

复制代码

1
2
3
4
[root@hadoop01 ~]# ssh-keygen -t rsa    # 执行这行命令后直接敲三个回车
[root@hadoop01 ~]# cd .ssh    
[root@hadoop01 .ssh]# ls
id_rsa  id_rsa.pub  known_hosts    # id_rsa (私钥)、id_rsa.pub (公钥)

2. 将公钥拷贝到要免密登录的目标机器上

复制代码

1
2
3
[root@hadoop01 .ssh]# ssh-copy-id hadoop01
[root@hadoop01 .ssh]# ssh-copy-id hadoop02
[root@hadoop01 .ssh]# ssh-copy-id hadoop03

3. 分别在 hadoop02 和 hadoop03 上设置 1、2 两步

4. .ssh 文件夹下 (~/.ssh) 的文件功能解释

known_hosts	记录 ssh 访问过计算机的公钥 (public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过的无密登录服务器公钥

5. 测试

hadoop01 免密登录 hadoop02、hadoop03

复制代码

1
2
3
4
5
6
7
[root@hadoop01 ~]# ssh hadoop02
Last login: Sat Oct  1 15:00:05 2022 from hadoop01
[root@hadoop02 ~]# exit
登出
Connection to hadoop02 closed.
[root@hadoop01 ~]# ssh hadoop03
Last login: Sat Oct  1 15:00:15 2022 from hadoop02

4.7 三台机器时钟同步

4.7.1 同步互联网时间

命令	英文	含义
ntpdate 互联网时间服务器地址	Network Time Protocol	同步时间

阿里云时钟同步服务器
- 复制代码ntpdate ntp4.aliyun.com
```
1
ntpdate ntp4.aliyun.com
```
三台机器定时任务: 直接与阿里云服务器进行时钟同步
- 复制代码crontab -e */1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
```
1
2
crontab -e
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
```

4.7.2 跟内网某台机器同步时间

为了安全, 大数据集群的节点不允许连接外网

以 hadoop01 这台服务器的时间为准进行时钟同步

在此之前, 我们需要删除三台服务器的定时时钟同步任务

复制代码

1
crontab -r

第一步: htpd 服务

1. 确认是否安装了 ntpd 服务

复制代码

1
2
[root@hadoop01 ~]# rpm -qa | grep ntpd
ntpdate-4.2.6p5-29.el7.centos.2.x86_64

如果没有安装, 可以进行在线安装:

复制代码

1
[root@hadoop01 ~]# yum -y install ntpd

2. 启动 ntpd 服务

复制代码

1
[root@hadoop01 ~]# systemctl start ntpd

3. 设置 ntpd 服务开机启动

复制代码

1
[root@hadoop01 ~]# systemctl enable ntpd

第二步: 编辑 /etc/ntp.conf

1. 编辑 hadoop01 的 /etc/ntp.conf

复制代码

1
[root@hadoop01 ~]# vim /etc/ntp.conf

在文件中添加如下内容, 配置我们的时钟广播地址

复制代码

1
2
# 假如时钟服务器ip地址为: 192.168.224.129
restrict 192.168.224.0 mask 255.255.255.0 nomodify notrap

注释以下四行内容

复制代码

1
2
3
4
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

去掉以下内容的注释, 如果没有这两行内容, 那就自己加上

复制代码

1
2
server   127.127.1.0 # localclock
fudge    127.127.1.0 stratum 10

配置以下内容, 保证 BIOS 与系统时间同步

复制代码

1
[root@hadoop01 ~]# vim /etc/sysconfig/ntpd

添加一行内容: SYNC_HWLOCK=yes

重启 ntpd 服务

复制代码

1
[root@hadoop01 ~]# systemctl restart ntpd

注意: 如果更改 ntp 时钟服务器的时间, 也需要重启 ntpd 服务

第三步: 另外两台机器与第一台机器时间同步

手动同步时间
- 复制代码# ntpdate 后面写 ip地址也可以 [root@hadoop02 ~]# ntpdate hadoop01 [root@hadoop03 ~]# ntpdate hadoop01
```
1
2
3
# ntpdate 后面写 ip地址也可以
[root@hadoop02 ~]# ntpdate hadoop01    
[root@hadoop03 ~]# ntpdate hadoop01
```
定时任务同步时间
复制代码crontab -e # 添加以下任务 */1 * * * * /usr/sbin/ntpdate 192.168.224.129
```
1
2
3
4
crontab -e

# 添加以下任务
*/1 * * * * /usr/sbin/ntpdate 192.168.224.129
```
注意: 如果报错
解决办法: 断开再连
- 复制代码systemctl stop ntpd
```
1
systemctl stop ntpd
```

最后

以上就是犹豫黄豆最近收集整理的关于大数据集群搭建一、安装 jdk二、安装 tomcat三、安装 mysql四、搭建集群 (三台)的全部内容，更多相关大数据集群搭建一、安装内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。

本文分类：大数据
浏览次数：110 次浏览
发布日期：2023-05-17 21:35:01
本文链接：https://www.kaopuke.com/article/k-p-k_14_ujo_2_f5_13__7__10_1.html

大数据集群搭建一、安装 jdk二、安装 tomcat三、安装 mysql四、搭建集群 (三台)

一、安装 jdk

二、安装 tomcat

三、安装 mysql

四、搭建集群 (三台)

4.1 新增 linux 系统

4.2 关闭防火墙

4.3 关闭 selinux

4.4 配置 hosts 文件

4.5 scp 远程文件拷贝

4.5.1 本地机器内容拷贝到远程机器

4.5.2 远程机器内容拷贝到本地机器

4.6 ssh 远程登录

4.6.1 使用 ssh 基于密码的远程登录 (了解)

4.6.2 使用 ssh 基于秘钥的免密码登录 (掌握)

4.7 三台机器时钟同步

4.7.1 同步互联网时间

4.7.2 跟内网某台机器同步时间

最后

评论列表共有 0 条评论

发表评论取消回复

大数据集群搭建一、安装 jdk二、安装 tomcat三、安装 mysql四、搭建集群 (三台)

一、安装 jdk

二、安装 tomcat

三、安装 mysql

四、搭建集群 (三台)

4.1 新增 linux 系统

4.2 关闭防火墙

4.3 关闭 selinux

4.4 配置 hosts 文件

4.5 scp 远程文件拷贝

4.5.1 本地机器内容拷贝到远程机器

4.5.2 远程机器内容拷贝到本地机器

4.6 ssh 远程登录

4.6.1 使用 ssh 基于密码的远程登录 (了解)

4.6.2 使用 ssh 基于秘钥的免密码登录 (掌握)

4.7 三台机器时钟同步

4.7.1 同步互联网时间

4.7.2 跟内网某台机器同步时间

最后

相关文章

评论列表共有 0 条评论

发表评论 取消回复

微信扫一扫：分享

发表评论取消回复