企业大数据平台搭建（二）集群管理工具CM 5.3.x安装

一、下载文件和上传到主机

安装方式：断网，rpm安装，yum本地源

生产环境的集群要断网；

rpm会自动安装到相应的目录，不用手动设置；

rpm软件下载地址：http://archive.cloudera.com/cm5/

需要下载的软件：

必须软件：

1）cm-5.3.6 bin安装文件，

下载地址：http://archive.cloudera.com/cm5/installer/5.3.6/cloudera-manager-installer.bin

2）cm-5.3.6 依赖rpm包，

下载地址：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/

下载以上目录下的所有rpm文件；

还要下载其他的包：

依赖其他的包 postgresql-libs 和 repo-libs；

postgresql 是一种数据库（与mysql非常相似），cm的数据存放在 postgresql；

repo-libs 包用于搭建本地源；

（1）postgresql-libs

postgresql-8.4.18-1.el6_4.x86_64.rpm

postgresql-libs-8.4.18-1.el6_4.x86_64.rpm

postgresql-server-8.4.18-1.el6_4.x86_64.rpm

下载地址（可以下载但速度很慢）：

http://rpm.pbone.net/index.php3/stat/4/idpl/24235889/dir/scientific_linux_6/com/postgresql-8.4.18-1.el6_4.x86_64.rpm.html

http://rpm.pbone.net/index.php3/stat/4/idpl/24235895/dir/scientific_linux_6/com/postgresql-libs-8.4.18-1.el6_4.x86_64.rpm.html

http://rpm.pbone.net/index.php3/stat/4/idpl/24235935/dir/scientific_linux_6/com/postgresql-server-8.4.18-1.el6_4.x86_64.rpm.html

（2）repo-libs

createrepo-0.9.9-18.el6.noarch.rpm

deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm

python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm

下载地址（可以下载但速度很慢）：

http://rpm.pbone.net/index.php3?stat=26&dist=77&size=95480&name=createrepo-0.9.9-18.el6.noarch.rpm.html

http://rpm.pbone.net/index.php3?stat=26&dist=77&size=71584&name=deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm.html

http://rpm.pbone.net/index.php3?stat=26&dist=77&size=26808&name=python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm.html

cm只要安装在一台机器上就可以，选择安装在主机器：

bigdata-cdh01.ibeifeng.com

在 bigdata-cdh01 主机上，创建 /opt/softwares，并改变拥有者为用户 beifeng;

并在softwares目录下，创建其他目录，如下所示：

# cd /opt
# mkdir softwares
# sudo chown -R beifeng:beifeng ./softwares/
# cd softwares
# mkdir cdh-5.3.6
# mkdir cm-5.3.6
# mkdir postgresql-libs
# mkdir repo-libs

用filezilla把以上下载的文件，发送到bigdata-cdh01主机上的对应目录：

$ cd cm-5.3.6/
$ ls
cloudera-manager-agent-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-daemons-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-installer.bin
cloudera-manager-server-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-server-db-2-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
enterprise-debuginfo-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
$ cd postgresql-libs/
$ ls
postgresql-8.4.18-1.el6_4.x86_64.rpm
postgresql-server-8.4.18-1.el6_4.x86_64.rpm
postgresql-libs-8.4.18-1.el6_4.x86_64.rpm
$ cd repo-libs/
$ repo-libs]$ ls
createrepo-0.9.9-18.el6.noarch.rpm
python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm
deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm

二、搭建yum本地源

接下来在 bigdata-cdh01.ibeifeng.com 搭建 yum 本地源；使得本主机作为服务器，使得安装rpm文件时，不用连外网下载；

1、Apache 服务器

检查有没有装apache服务器，在不同的Linux 版本上，预装的apache版本，有apache 1 或 apache 2；

httpd 就是 apache 服务器；

检查已经有装apache服务器；版本是2；

$ rpm -qa | grep httpd
httpd-tools-2.2.15-26.el6.centos.x86_64
httpd-2.2.15-26.el6.centos.x86_64

检查状态；状态是关闭；

$ sudo service httpd status
httpd is stopped

启动apache服务器；

$ sudo service httpd start
Starting httpd:
[
OK
]
$ sudo service httpd status
httpd (pid
2760) is running...

设置为永久启动：

sudo chkconfig httpd on

在宿主机器配置域名映射：

vi /etc/hosts
## 20191204 add bigdata cluster hosts mapping
192.168.178.137
bigdata-cdh01.ibeifeng.com
bigdata-cdh01
192.168.178.138
bigdata-cdh02.ibeifeng.com
bigdata-cdh02
192.168.178.139
bigdata-cdh03.ibeifeng.com
bigdata-cdh03

在宿主机器浏览器打开 ，访问 bigdata-cdh01.ibeifeng.com 主机的apache服务器；（默认端口是80）；

http://bigdata-cdh01.ibeifeng.com/

可以成功访问

apache服务器的文件目录如下：

$ cd /var/www/html/

在该文件目录下的文件，都可以通过浏览器访问：

比如创建一个test目录，在浏览器访问：

在 /var/www/html 目录下创建目录：

sudo mkdir -p cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/

并把 /opt/softwares/cm-5.3.6 目录下除了 cloudera-manager-installer.bin 之外的其他rpm文件，移动到cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/ 目录；

$ cd /var/www/html/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64
$ mv /opt/softwares/cm-5.3.6/* .
$ ls
cloudera-manager-agent-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-daemons-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-server-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
cloudera-manager-server-db-2-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
enterprise-debuginfo-5.3.6-1.cm536.p0.244.el6.x86_64.rpm
jdk-6u31-linux-amd64.rpm
oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

在宿主浏览器访问 http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/，可以看到以上文件，

同时访问外网的http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.3.6/RPMS/x86_64/，可以发现文件路径和文件一致：

运行yum命令是，会根据resps.d 目录下的文件，再找到对应的网站取下载；

设置了本地yum源，所以要删除resps.d 目录下的文件；

$ cd /etc/yum.repos.d/
$ ls
CentOS-Base.repo
CentOS-Debuginfo.repo
CentOS-Media.repo
CentOS-Vault.repo
$ sudo rm -rf ./*

再创建源文件：

复制外网官网的文件内容：http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

在目录下新建文件，

$ sudo touch cloudera-manager.repo
$ sudo vi cloudera-manager.repo

粘贴复制的官网文件cloudera-manager.repo内容，做以下修改

删除这一行代码，否则下文安装会出错

gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera  

最终的文件内容为：

[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgcheck = 1

为了保持和cloudera-manager.repo文件里指定的baseurl一致， 把 cm5/redhat/6/x86_64/cm/5.3.6 改为 cm5/redhat/6/x86_64/cm/5

$ cd /var/www/html/cm5/redhat/6/x86_64/cm
$ ls
5.3.6
$ sudo mv 5.3.6 5
$ ls
5

为了测试yum源是否配置正确，在宿主机器改host映射，把archive.cloudera.com 改为指向 bigdata-cdh01.com 主机，

## 20191204 add cloudera maping
192.168.178.137
archive.cloudera.com

在宿主浏览器访问 http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/RPMS/x86_64/

说明配置yum本地源成功；

三、安装依赖和cm

1、安装依赖postgrepsql 和 repo

进入softwares路径

首先安装依赖，postgrepsql，用户如果没有执行权限，需要先赋给执行权限：

执行rpm安装命令，会自动判定rpm包的安装顺序，

$ cd postgresql-libs
$ chmod u+x ./*
$ sudo rpm -ivh *.rpm
warning: postgresql-8.4.18-1.el6_4.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID 192a7d7d: NOKEY
Preparing...
########################################### [100%]
1:postgresql-libs
########################################### [ 33%]
2:postgresql
########################################### [ 67%]
3:postgresql-server
########################################### [100%]

2、安装依赖repo

用户如果没有执行权限，需要先赋给执行权限：

在执行安装命令，如下所示安装成功

cd repo-libs
chmod u+x ./*
sudo rpm -ivh *.rpm
warning: createrepo-0.9.9-18.el6.noarch.rpm: Header V4 DSA/SHA1 Signature, key ID 192a7d7d: NOKEY
Preparing...
########################################### [100%]
1:deltarpm
########################################### [ 33%]
2:python-deltarpm
########################################### [ 67%]
3:createrepo
########################################### [100%]

再进入目录 /var/www/html/cm5/redhat/6/x86_64/cm/5，运行命令，生成repo;

会生成 repodata 目录，进入目录，有7个rpm包

$ cd /var/www/html/cm5/redhat/6/x86_64/cm/5
$ sudo createrepo .
$ ll
drwxr-xr-x 2 root root 4096 12月
5 10:22 repodata
drwxr-xr-x 3 root root 4096 12月
5 07:41 RPMS

3、安装cm

赋给当前用户执行权限，执行 cloudera-manager-installer.bin

$ cd cm-5.3.6/
$ ls
cloudera-manager-installer.bin
$ chmod u+x cloudera-manager-installer.bin
$ sudo ./cloudera-manager-installer.bin 

安装界面，一直按next，

一直按next，或者yes；

直到出现安装成功的界面，

提示访问的地址：http://bigdata-cdh01.ibeifeng.com:7180/

提示用户名和密码都是：admin

安装过程中失败常见的原因（作为参考）

　　1、seLinux出于打开状态，设置的disabled没有生效。（设置好，然后重启机器就好）

　　2、防火墙出于打开状态

　　3、postgresql数据库没有安装或者服务没有启动

　　4、httpd服务没有打开或者配置的baseurl地址不可用

四、登录cm

打开界面，用户名和密码都是：admin，登录

可以看到有3个版本，选择免费的那个，点 继续，

提示可使用的软件包，以及是否需要许可证，

可以看到要求添加主机；这里先不添加主机；

点击左上角的 “cloudera manager”，进去主界面

可以看到主界面，点击“管理”，再点击“设置”

可以看到设置的类别；点击“Parcel”，找到属性：本地Parcel 存储库路径，这是个默认值；可以修改；复制默认值；

bigdata-cdh01.ibeifeng.com 主机，进入该目录，该目录已经存在，安装CM时已经自动创建好，

$ cd /opt/cloudera/parcel-repo

五、下载 CDH

官网下载2个文件，

下载地址：http://archive.cloudera.com/cdh5/parcels/5.3.6/

文件：CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel   和  CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1

把上文下载的2个文件，存放到 /opt/cloudera/parcel-repo 目录下：

$ cd parcel-repo/
$ ls
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel
CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1

重命名，把后缀 sha1 改为 sha

$ sudo mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha

已经把cdh包放到 parcel 指定存储目录下；但由于更新频率是1小时；所以还不能被识别安装；为了被识别安装，所以要重启cm；

重启cm服务

查看cm当前状态

$ sudo service cloudera-scm-server status
cloudera-scm-server (pid
4422) is running...

重启cm服务

$ sudo service cloudera-scm-server restart
Stopping cloudera-scm-server:
[
OK
]
Starting cloudera-scm-server:
[
OK
]
$ sudo service cloudera-scm-server status
cloudera-scm-server (pid
5725) is running...

以上是在 bigdata-cdh01 主机上安装了cloudera server；

还需要在以下3台主机上安装 cloudera agent：bigdata-cdh01，bigdata-cdh02，bigdata-cdh03；

注意：在 bigdata-cdh01 主机上同时安装 cloudera server 和 cloudera agent；

修改bigdata-cdh01 主机上的 /etc/yum.repos.d/cloudera-manager.repo 文件，把地址指向bigdata-cdh01主机，把gpgcheck检查设置为0（不检查），最终内容如下：

[cloudera-manager]
name=Cloudera Manager
baseurl=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/5/
enabled=1
gpgcheck=0

把 bigdata-cdh01 主机上的 /etc/yum.repos.d/cloudera-manager.repo 文件，复制到  bigdata-cdh02 主机 和 bigdata-cdh03 主机上的 /etc/yum.repos.d 目录下，使得 bigdata-cdh02 主机 和 bigdata-cdh03 主机 安装 cloudera agent 时，下载文件指向 bigdata-cdh01 主机；

对bigdata-cdh02 主机 和 bigdata-cdh03 主机分别做以下操作：

把 /etc/yum.repos.d 目录下的所有文件删除，新建 cloudera-manager.repo 文件，内容和 bigdata-cdh01主机上的  cloudera-manager.repo 文件一致；

$ cd /etc/yum.repos.d/
$ ls
CentOS-Base.repo
CentOS-Debuginfo.repo
CentOS-Media.repo
CentOS-Vault.repo
$ sudo rm -rf ./*
$ sudo vi cloudera-manager.repo
[cloudera-manager]
name=Cloudera Manager
baseurl=http://bigdata-cdh01.ibeifeng.com/cm5/redhat/6/x86_64/cm/5/
enabled=1
gpgcheck=0

六、安装cdh

接下来在cm中添加主机

为 CDH 群集安装指定主机界面；点击“搜索”，

可以看到搜索规则

bigdata-cdh[01-03].ibeifeng.com 表示

bigdata-cdh01.ibeifeng.com，bigdata-cdh02.ibeifeng.com，bigdata-cdh03.ibeifeng.com

填入 bigdata-cdh[01-03].ibeifeng.com，点击右下角的“搜索”

会自动搜索主机，点击继续：

选择存储库；

可以看到已经搜素到cdh版本的目录；

为cloudera agent指定安装目录的存储目录；

点 继续；

JDK 安装选项；

由于前文在准备机器时，已经把预装的jdk卸载，所以要安装jdk；

选中第一个 “安装 oracle java se 开发工具”；第二个不用勾选；

点击继续；

这一步不做勾选；

点击 继续；

提供SSH 登录凭据；

3台机器都有普通用户 beifeng；

并且beifeng用户的密码都相同；

并且beifeng用户都有sudo权限；

这样，会自动取设置3台主机之间beifeng用户的SSH免密登录，相互之间用beifeng用户访问不用输入密码；

点击继续；

正在安装；

jkd 和 cloudera agent 安装完毕；

点击继续；

正在安装选定 Parcel;

安装目录在每台主机的： /opt/cloudera/parcels/CDH

安装目录在每台主机的： /opt/cloudera/parcels/CDH

在 /opt/cloudera/parcels/CDH/lib 目录下可以看到各个组件的 lib 包：

安装完成，点继续；

检查主机正确性：

检查有3个问题，必须要修改，才能继续往下执行；

改完之后点击 左上角的 “重新运行”；

直到不报错；

点击右下角的 完成；

出现的问题：

问题2、Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 
/etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，
Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响： 
bigdata-cdh[01-03].ibeifeng.com

问题的解决：

在每台主机上运行命令：

$ sudo sysctl -w vm.swappiness=0

永久生效：

需要切换到root用户，编辑文件加上代码：

$ su root
密码：
# echo "vm.swappiness=0" >> /etc/sysctl.conf

问题3、已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.4 (Final)”且发行版为“2.6.32-358.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”，并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机： 

bigdata-cdh[01-03].ibeifeng.com

这个问题，属于centos的bug问题，但是可以修复；

问题的解决：

每台主机都操作；首先切换到root用户；执行命令 echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag；

再切换到 beifeng用户；sudo命令编辑文件 /etc/rc.local，

在文件最后加上 echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

$ su root
密码：
# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
# exit
$ sudo vi /etc/rc.local
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

至此完成server 和 agent 的安装；主界面如下：

最后

以上就是不安蜻蜓为你收集整理的企业大数据平台搭建（二）集群管理工具CM 5.3.x安装的全部内容，希望文章能够帮你解决企业大数据平台搭建（二）集群管理工具CM 5.3.x安装所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。