一、版本号

• system：CentOS 6
• Cloudera Manager：5.7.0
• CDH：5.7.0

二、环境准备

• MySQL 5.6
• Java 8
• python 2.6

三、安装步骤

1. 进行集群角色划分，指定 server 与 agent

在 Cloudera Manager 中，包含两种角色，server 与 agent，两者间关系如下：

• server 负责管理集群内主机
• agent 负责管理主机配置
• server 仅能有 1 个，agent 可以有多个

现在假设有服务器 4 台，服务器地址为 192.168.1.[128-131]，我们可按下表划分角色：

2. 下载 Cloudera Manager、CDH 安装包

Cloudera Manager：http://archive.cloudera.com/cm5/cm/5/

CDH：http://archive.cloudera.com/cdh5/parcels/5.7.0/

下载清单如下：

• cloudera-manager-el6-cm5.7.0_x86_64.tar.gz
• CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel
• CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1
• manifest.json

注：CentOS 6 需下载 el6 版本，否则安装过程中会出现异常。以此类推，CentOS 7 对应 el7 版本。

3. 集群目录初始化（所有节点）

在所有节点，创建如下目录：

mkdir /opt/cloudera-manager
mkdir -p /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels

各目录角色如下：

• cloudera-manager：Cloudera Manager 安装目录
• parcel-repo：parcel 安装包存放目录
• parcels：Cloudera Manager 分发源的目标目录

4. 上传安装包（server 节点）

上传上述安装包至 server 节点，其中：

• cloudera-manager-el6-cm5.7.0_x86_64.tar.gz → /opt/cloudera-manager
• CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel → /opt/cloudera/parcel-repo
• CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 → /opt/cloudera/parcel-repo
• manifest.json → /opt/cloudera/parcel-repo

注：CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 要重命名为 CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha，否则后续安装时会联网下载包，导致离线安装失败。

5. 安装及配置（server 节点）

解压 Cloudera Manager 安装包：

cd /opt/cloudera-manager
tar -xzvf cloudera-manager-el6-cm5.7.0_x86_64.tar.gz

修改 agent 配置文件：

cd /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-agent/
vi config.ini

# set Hostname of the CM server
server_host=s128
# Port that the CM agent should listen on
listening_port=59000

初始化 Cloudera Manager 数据库：

/opt/cloudera-manager/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql -hs128 -P3306 -ucdh -pcdh --scm-host s128 scm scm scm

其中，各参数定义如下：

• -h：数据库 ip 地址
• -P：数据库端口
• -u：数据库用户名
• -p：数据库用户密码
• –scm-host：server 节点 ip 地址

后面 3 个 scm 的定义如下：

• scm1：CM 数据库名称
• scm2：CM 数据库用户名
• scm3：CM 数据库用户密码

初始化数据库后，有两个验证结果的方法：

• 在对应的 MySQL 中发现新建了数据库 scm
• 查看 /opt/cloudera-manager/cm-5.7.0/etc/cloudera-scm-server/db.properties，发现各配置项对应上述输入的参数

注：-h 与 --scm-host 最好指向用一台服务器。

6. 分发 Cloudera Manager（除 server 外的所有节点）

将 server 节点上已配置好的 Cloudera Manager 分发到其余节点：

scp -r root@s128:/opt/cloudera-manager/cm-5.7.0 /opt/cloudera-manager/

7. 新建用户及文件夹授权（所有节点）

新建 Cloudera Manager 专属用户：

useradd --system --home=/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

对文件夹所属用户及组别进行重新授权：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/

安装步骤到此完成，下面进行启动验证。

四、启动验证

1. 启动 server

进入 server 节点，启动 Cloudera Manager server 服务：

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server start
/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server status

查看日志，观察是否有异常：

tail -200f /opt/cloudera-manager/cm-5.7.0/log/cloudera-scm-server/cloudera-scm-server.log

启动时间会比较长，待启动成功后，查看对应端口号验证启动结果：

netstat -anp | grep 7180

2. 启动 agent

在所有节点启动 Cloudera Manager agent 服务：

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-agent start
/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-agent status

查看日志，观察是否有异常：

tail -200f /opt/cloudera-manager/cm-5.7.0/log/cloudera-scm-agent/cloudera-scm-agent.log

待启动成功后，查看对应端口号验证启动结果：

netstat -anp | grep 59000

3. web 验证

除端口验证外，也可以直接登录 Cloudera Manager 管理页面验证：http://192.168.1.128:7180/cmf/login

五、集群初始化

登录 Cloudera Manager 管理页面后，需要进行一系列初始化工作，包括安装监控程序、分发源、激活服务、部署配置等。

正常情况下，按照页面提示一步步操作即可。

若出现异常，到组件所在目录查看异常明细并解决，一般日志文件都在 /var/log 目录下。

若遇到无法解决的问题，可自行查询相关资料。

六、关闭服务

1. 关闭 agent

在所有节点关闭 Cloudera Manager agent 服务：

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-agent status

2. 关闭 server

进入 server 节点，关闭 Cloudera Manager server 服务：

/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server stop
/opt/cloudera-manager/cm-5.7.0/etc/init.d/cloudera-scm-server status

七、常见问题

QUESTION 1

cloudera-scm-agent 启动失败，可能是 5.7.0 版本的一个 BUG，无法自动创建文件夹：/opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-agent。

因此我们需要手动创建：

mkdir -p /opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-agent

QUESTION 2

在初始化 Cloudera Manager 数据库时，会报连接异常，这是由于缺少 MySQL 驱动包导致的。

下载驱动包 mysql-connector-java-5.1.46.jar，将其上传至 /usr/share/java，并重命名为 mysql-connector-java.jar 即可。

QUESTION 3

已关闭 cm 所有服务，卸载时却发现如下文件夹无法删除，出现如下错误：

rm: cannot remove `cm-5.11.0/run/cloudera-scm-agent/process': Device or resource busy

使用 df -h 查看磁盘情况时发现：

Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_n139-lv_root 50G 20G 28G 42% /
tmpfs 7.8G 0 7.8G 0% /dev/shm
/dev/sda1 485M 32M 428M 7% /boot
/dev/mapper/vg_n139-lv_home 765G 104G 623G 15% /home
cm_processes 7.8G 0 7.8G 0% /opt/cloudera-manager/cm-5.11.0/run/cloudera-scm-agent/process

因此，执行如下命令，再删除即可。

umount /opt/cloudera-manager/cm-5.7.0/run/cloudera-scm-agent/process

最后

以上就是坦率耳机为你收集整理的Cloudera 离线安装指南一、版本号二、环境准备三、安装步骤四、启动验证五、集群初始化六、关闭服务七、常见问题的全部内容，希望文章能够帮你解决Cloudera 离线安装指南一、版本号二、环境准备三、安装步骤四、启动验证五、集群初始化六、关闭服务七、常见问题所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。