1. 首页
  2. 文章中心
  3. 大数据架构

Ambari离线安装笔记离线Ambari安装

106 阅读 0 评论
我是靠谱客的博主 拼搏烤鸡，这篇文章主要介绍Ambari离线安装笔记离线Ambari安装，现在分享给大家，希望可以做个参考。

离线Ambari安装

目录

文章目录

  • 离线Ambari安装
    • 目录
    • 简介
    • 安装步骤
      • 准备基础环境
        • 修改Hostname
        • 配置hosts
        • 配置免密登录
          • 生成私钥
          • 配置信任主机
        • 安装JDK
          • 卸载OpenJDK(非必须)
          • 安装Oracle JDK
        • 挂载硬盘[非必须]
          • 挂载硬盘
          • 设置开机自启
        • 安装httpd
          • 安装
          • 启动服务
          • 设置开机自启
        • 关闭防火墙
        • 时钟同步服务[非必须]
          • 查看时钟状态服务
        • 准备Mysql[非必须]
          • 安装Mysql
          • 配置root权限密码
      • 安装Ambari
        • 准备Ambari离线源
          • 安装包解压缩
          • 本地yum源配置
            • 配置yum源文件
            • 分配到各个节点
            • 创建本地库
            • 查看yum源信息
        • 安装Ambari
          • mysql建库建用户：ambari，hive
          • 安装Ambari server
          • 初始化Ambaer表(mysql)
          • 准备mysql-JDBC
          • 安装Ambari agent
        • 配置Ambari
          • Ambari-server setup
          • web页面配置
          • 设置hdfs数据存储路径
          • 启动ambari-server
    • 附录
      • 遇到的问题
          • 问题1：HDFS安全模式
          • 问题2：创建用户权限
          • 问题3：mysql-client
      • 备注项
        • 下载地址
        • 安装版本
        • 集群安装配置
      • 参考链接

简介

Ambari是HDP的集群管理工作，竞品是CDH Manager。目前已经是Apache的顶级项目。

CDH Manager从6.3.2之后，不再支持社区版升级。会逐渐走向纯收费模式。且CDH有50个节点数限制，Ambari没有节点数限制。综合来看，选择Ambari更适合系统长期的发展。

安装步骤

本次采用离线安装的方法，下载完整的离线安装包，部署本地yum源，进行安装。

准备基础环境

修改Hostname

便于标识主机。

复制代码
1
2
3
vim /etc/hostname
# 重启生效 reboot

配置hosts

复制代码
1
2
3
4
vim /etc/hosts
172.21.1.46 node1 node1.bigdata
172.21.1.40 node2 node2.bigdata

配置免密登录

生成私钥

配置免密登录：

复制代码
1
2
3
4
5
6
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat .ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
# 把所有节点的authorized_keys文件内容合并在一个authorized_keys中，并配置到所有节点的authorized_keys文件中。
scp ~/.ssh/authorized_keys root@node1:~/.ssh/
配置信任主机
复制代码
1
2
3
4
# 注：默认登录一次，known_hosts会记录节点的hash值，所以互信机器登录一遍。
# 并把known_hosts文件传输到所有节点，就不用一个一个设置了。
scp ~/.ssh/known_hosts root@node1:~/.ssh/

安装JDK

卸载OpenJDK(非必须)
安装Oracle JDK

tar.gz版本

复制代码
1
2
3
4
5
6
7
8
9
10
tar zxvf jdk.tar.gz
vim /etc/profile
# 配置/etc/profile
export JAVA_HOME={jdk_path}
#{jdk_path}表示jdk文件路径
export PATH=${PATH}:${JAVA_HOME}/bin
source /etc/profile
# 验证Java
java -version

挂载硬盘[非必须]

挂载硬盘
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
# 查看磁盘挂载情况
fdisk -l
# 划分磁盘分区，默认挂载磁盘路径：/dev/vdb
fdisk /dev/vdb
#根据提示，依次输入"n"，"p" "1"，两次回车，"wq"，分区就开始了，很快就会完成。
# 格式化硬盘，设置格式是ext4
mkfs.ext4 /dev/vdb
# 创建挂载点/data路径。路径存在情况下，可以不创建
mkdir /data
# 挂载硬盘
mount /dev/vdb /data
设置开机自启
复制代码
1
2
3
4
5
6
7
# 设置硬盘开机自启，在/etc/fstab中添加以下配置
/dev/vdb
/data
ext4
defaults
0 0

安装httpd

安装
复制代码
1
2
yum -y install httpd
启动服务
复制代码
1
2
3
4
5
6
service httpd restart
# 查看httpd服务状态
systemctl status httpd.service
# 或者
service httpd status
设置开机自启
复制代码
1
2
chkconfig httpd on

异常处理：

出现apache用户创建异常`当启动 apache 时，出现一下异常：AH00543: httpd: bad user name apache，解决方法：

复制代码
1
2
3
4
5
6
7
8
9
useradd: cannot open /etc/passwd
[~]# lsattr /etc/passwd
----i--------e- /etc/passwd
chattr -i /etc/passwd
chattr -i /etc/shadow
# 之后再useradd
groupadd apache
useradd -g apache apache

关闭防火墙

复制代码
1
2
3
4
5
6
7
8
9
# 查看防火墙状态
systemctl status firewalld.service
# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
# 关闭seLinux
# 使用`root`用户编辑文件`/etc/selinux/config`，改为如下配置：
SELINUX=disabled

时钟同步服务[非必须]

查看时钟状态服务
复制代码
1
2
3
ps aux | grep ntp
# 一般默认是开启的，查看下进程

准备Mysql[非必须]

安装Mysql
配置root权限密码

安装Ambari

安装Ambari注意包括Ambari server安装，Ambari setup配置，mysql配置，Ambari agent安装等步骤。

准备Ambari离线源

安装包解压缩

创建ambari 目录，将安装包拷贝到 httpd 网站根目录
在 httpd 网站根目录,默认是即/var/www/html/，创建目录 ambari：

复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
#http初试路径： /var/www/html
mkdir /var/www/html/ambari/
sudo tar -xvf ambari-2.7.0.0-centos7.tar.gz
-C
/var/www/html/ambari/
sudo tar -xvf
HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/ambari/
sudo tar -xvf
HDP-3.0.0.0-centos7-rpm.tar.gz
-C /var/www/html/ambari/
sudo tar -xvf
HDP-GPL-3.0.0.0-centos7-ppc-gpl.tar.gz -C /var/www/html/ambari/
本地yum源配置
配置yum源文件

需要配置的本地源：Ambari、HDP、HDP-UTILS、HDP-GPL

创建四个源配置文件，需要配置文件中的host和yum路径

vim ambari.repo

复制代码
1
2
3
4
5
6
7
8
[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://node1:8080/hdp/ambari/centos7/2.6.1.0-143
gpgcheck=0
gpgkey=http://node1/ambari/centos6/2.x/updates/2.6.1.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp.repo

复制代码
1
2
3
4
5
6
7
8
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

vim hdp-utils.repo

复制代码
1
2
3
4
5
6
7
[HDP-UTILS-1.1.0.22]
name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.22
baseurl=http://hdp1:8080/hdp/HDP-UTILS/
gpgcheck=0
enabled=1
priority=1

vim hdp.gpl.repo

复制代码
1
2
3
4
5
6
7
8
[HDP-GPL-2.6.4.0]
name=HDP-GPL Version - HDP-GPL-2.6.4.0
baseurl=http://hdp1:8080/hdp/HDP-GPL/centos7/2.6.4.0-91
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

文件放置在：/etc/yum.repos.d/*.repo

分配到各个节点
复制代码
1
2
3
scp /etc/yum.repos.d/*.repo root@node1:/etc/yum.repos.d/
...
创建本地库

制作本地源：

在/var/www/html/ambari

复制代码
1
2
3
4
yum install yum-utils createrepo yum-plugin-priorities -y
createrepo
./
查看yum源信息
复制代码
1
2
3
yum repolist
# 注意查看是否有报错信息，判断repo配置文件是否正确

安装Ambari

mysql建库建用户：ambari，hive

创建Ambari的Mysql库和用户，以root用户创建

复制代码
1
2
3
4
5
create database ambari character set utf8;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari123-';
GRANT ALL PRIVILEGES ON ambari.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

创建Hive库

复制代码
1
2
3
4
5
create database hive character set utf8;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive123-';
GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;

备注：

修改mysql用户密码指令

复制代码
1
2
3
4
update mysql.user set authentication_string=password('Ambari123-') where user='ambari';
update mysql.user set authentication_string=password('Hive123-') where user='hive';
FLUSH PRIVILEGES;
安装Ambari server
复制代码
1
2
[node1] # yum install ambari-server
初始化Ambaer表(mysql)

以ambari用户登录mysql后执行：

mysql -uambari -pPassword_1

复制代码
1
2
3
4
5
6
7
# 切换至ambari库
mysql > use ambari;
# 执行批量建表语句
mysql > source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
# 查看是否建表成功
mysql > show tables;
准备mysql-JDBC

mysql-connect-java.jar文件放置在Ambari-server节点/var/lib/ambari-server/resources路径下

注意：需要重命名文件名，mysql-connect-java.jar，jar包带版本系统找不到。

复制代码
1
2
cp mysql-connect-java-xxxx.jar /var/lib/ambari-server/resources/mysql-connect-java.jar

注：重命名JDBC包，删除版本号

安装Ambari agent

各个Slaver节点上执行

复制代码
1
2
[node1] # yum install ambari-agent

配置Ambari

Ambari-server setup

ambari-server setup

复制代码
1
2
3
4
5
6
7
# 可能出现的配置：
Customize user account for ambari-server daemon [y/n] (n)? y
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
2
web页面配置

URL:http://master:8080

初试用户名密码：admin # admin

Ambari页面配置中，节点需要写全，master也要写

设置node列表，master也需要放上面，写的是各个节点的hostname

SSH写第一个节点的密钥，第一个登陆之后，后续都用免密进行登陆。

设置hdfs数据存储路径

根据挂载硬盘情况，设置NameNode，和DataNode路径。

启动ambari-server
复制代码
1
2
3
4
ambari-server start
# 查看ambari启动状态
service ambari-server status

附录

遇到的问题

问题1：HDFS安全模式

1.对磁盘进行扩容之后，修改DataNode数据存储地址，并重启HDFS

报错信息：NameNode无法重启

ambari Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs

解决方法：

复制代码
1
2
3
4
5
# su hdfs
//切换到hdfs用户，若关闭了hdfs的权限则可略过这一步
# 让namenode离开安全模式
su -uhdfs hadoop dfsadmin -safemode leave
问题2：创建用户权限

web页面最后安装组件过程，出现can open /etc/passwd文件错误，错误原因，没有创建用户的权限，所有节点都要执行。

复制代码
1
2
3
4
5
chattr -i /etc/passwd
chattr -i /etc/group
chattr -i /etc/gshadow
chattr -i /etc/shadow
问题3：mysql-client

Ambari-server节点没有mysql client，需要安装mysql客户端：

复制代码
1
2
3
4
5
# 先设置mysql下载源
yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
# 下载mysql客户端
yum -y install mysql

备注项

下载地址

下载安装包

复制代码
1
2
3
4
5
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari-2.7.0.0-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.0.0.0/HDP-3.0.0.0-centos7-rpm.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7-ppc/3.x/updates/3.0.0.0/HDP-GPL-3.0.0.0-centos7-ppc-gpl.tar.gz

安装版本

版本选择

Ambari:2.7.0

集群安装配置

Grafana Admin：密码设置：Grafana

Activity Explorer’s Admin:密码设置：Activity

Hive:Hive123-

Oozie:Oozie123-

参考链接

https://blog.csdn.net/lanlianhua_luffy/article/details/103914183

https://blog.csdn.net/wudinaniya/article/details/81094578

https://www.cnblogs.com/shook/p/12409759.html

https://www.jianshu.com/p/580be22929ad

最后

以上就是拼搏烤鸡最近收集整理的关于Ambari离线安装笔记离线Ambari安装的全部内容，更多相关Ambari离线安装笔记离线Ambari安装内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(70)

相关文章

启动namenode失败：FATAL error
启动namenode失败：FATAL error
Ambari自动部署Hadoop集群实战
Ambari自动部署Hadoop集群实战
DataNode启动后自动停止的问题（ Incompatible clusterIDs in /xxx/xxx；namenode clusterID = xxxx；datanode clusterI）
DataNode启动后自动停止的问题（ Incompatible clusterIDs in /xxx/xxx；namenode clusterID = xxxx；datanode clusterI）
Hadoop中dataNode启动不了
Hadoop中dataNode启动不了
Ambari离线安装笔记离线Ambari安装
Ambari离线安装笔记离线Ambari安装
Ambari部署后重启DataNode失败
Ambari部署后重启DataNode失败
PEGA（Low-Code APP Builder）Completing work on time_Service-level agreement
PEGA（Low-Code APP Builder）Completing work on time_Service-level agreement
Flex 初始化过程
Flex 初始化过程

评论列表共有 0 条评论

立即
投稿
返回
顶部