CDH详细安装步骤

48 阅读 0 评论 32 点赞

我是靠谱客的博主耍酷狗，最近开发中收集的这篇文章主要介绍CDH详细安装步骤，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

CDH(Cloudera Distribution Hadoop)完全详细版安装,禁用SELINUX,http方式配置yum源,NTP时钟同步,配置数据库,安装CM,web界面操作,节点规划，参数配置，HDFS验证，Hive验证。HDFS不良：副本不足的块；Hive组件出现不良；无法接受Agent发出的检测该角色的进程启动失败；HDFS权限问题；spark-shell环境出错；引导界面中途误选版本，无法回退；

更多分类文章：

Python | Linux | 大数据 | 数据库 | Git | Nodejs | Golang | 电脑技巧 | 计算机技术

大数据：

CDH详细安装步骤
CDH集群完全卸载过程
CDH6集群详细部署过程
CDH6彻底删除清空
kafka基本使用及命令
sparkstreaming+kafka实时计算例子(一)结果写回kafka
sparkstreaming+kafka实时计算例子(二)结果写回redis

一．前置部署

基本环境

192.168.0.230 192.168.0.231 192.168.0.232 账号：root/12345678

1.1 脚本使用

脚本依赖expect程序，需要在执行这些脚本的机器上安装expect,安装方式：yum install expect

batch_cmd.sh：批量执行命令脚本，如：sh batch_cmd.sh node.list "ls /"

batch_scp.sh: 批量拷贝文件命令，如：sh batch_scp.sh node.list src_path target_path

batch_rename.sh: 批量修改主机名，如: sh batch_rename_cmd.sh node.txt

(1) 文件传输工具

Linux上需要安装安装lrzsz工具包，如果没有安装请执行以下命令:

yum install lrzsz

xshell配置,如下图所示：

运行命令rz，即是接收文件(上传到Linux上)，xshell就会弹出文件选择对话框，选好文件之后关闭对话框，文件就会上传到linux里的当前目录。

(2)脚本环境配置

配置batch_cmd.sh的用户密码，配置node有关的节点主机名与IP。

然后使用sh batch_cmd.sh node.list "ls /"，进行批量命令。

1.2 初始配置

(1)禁用SELINUX

所有节点执行脚本：

sh ssh_do_all.sh node.list "sudo setenforce 0"

修改/etc/selinux/config文件如下：

SELINUX=disabled
SELINUXTYPE=targeted

(2)关闭防火墙

sh ssh_do_all.sh node.list "sudo systemctl stop firewalld"
 
sh ssh_do_all.sh node.list "sudo systemctl disable firewalld"
 
sh ssh_do_all.sh node.list "sudo systemctl status firewalld"

(3)使用cat /etc/redhat-release查看RedHat版本(如7.2)

(4)使用cat /proc/version查看Linux版本，对于2.6.32-303之后的版本，设置vm.swappiness=1，即

echo "vm.swappiness=1" >>/etc/sysctl.conf
 
echo 1 >> /proc/sys/vm/swappiness

(5)修改hosts和hostname(永久+临时)

1.3 配置yum源

(1)对于系统其它应用的安装需要配置yum源，进入/etc/yum.repos.d创建local_os.repo：

[local_iso]
 
name=CentOS-$releasever - Media
 
baseurl=file:///media/DVD1
 
gpgcheck=0
 
enabled=1

(2)对于cloudera组件的安装，需要创建cm.repo

[cmrepo]
 
name = cm_repo
 
baseurl = http://192.168.0.231/cm5.13.2/
 
enable = true
 
gpgcheck = false

(对于cloudera-scm-server的安装，删除cloudera-manager.repo，因为

baseurl = https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.13.2/

指向网络，安装速度很慢)

1.4 http方式搭载yum源

安装httpd，并使用http方式，使得所有服务器都可访问该主机yum源

(1)建文件夹：mkdir /var/www/html/iso

(2)复制移动：sudo scp -r /media/DVD1/* /var/www/html/iso/

(3)在各子节点上配置yum，在/etc/yum.repos.d下创建os.repo,共同指向192.168.0.230 http目录下的yum源：

[osrepo]
 
name=os_repo
 
baseurl=http://192.168.0.230/iso/
 
enabled=true
 
gpgcheck=false

1.5 NTP时钟同步

(1)使用rpm -qa | grep ntp 查询是否安装NTP，若未安装则用安装NTP

(2)使用sudo systemctl start httpd开启服务

(3)主节点192.168.0.230保存不变，其他节点修改：执行sudo vim /etc/ntp.conf在后面加入：

server 127.127.1.0
 
fudge 127.127.1.0 stratum 10

(4)全部执行sudo systemctl restart ntpd

(5)使用ntpq -p 验证

1.6 配置数据库

(1)sudo yum -y install mariadb mariadb-server

(两个都要安装，若上次卸载，要同时卸载”/var/lib/mysql”文件夹删除库表等用户数据)

(2)先打开服务sudo systemctl start mariadb

(3)再初次配置数据库sudo /usr/bin/mysql_secure_installation

(安装mariadb mariadb-server之后出现)

(4)mysql -u-p 进入

(5)建CM和Hive所需表：

create database metastore default character set utf8;
 
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
 
GRANT ALL PRIVILEGES ON metastore. * TO 'hive'@'%';
 
FLUSH PRIVILEGES;
 
create database cm default character set utf8;
 
CREATE USER 'cm'@'%' IDENTIFIED BY 'password';
 
GRANT ALL PRIVILEGES ON cm. * TO 'cm'@'%';
 
FLUSH PRIVILEGES;
 
create database am default character set utf8;
 
CREATE USER 'am'@'%' IDENTIFIED BY 'password';
 
GRANT ALL PRIVILEGES ON am. * TO 'am'@'%';
 
FLUSH PRIVILEGES;
 
create database rm default character set utf8;
 
CREATE USER 'rm'@'%' IDENTIFIED BY 'password';
 
GRANT ALL PRIVILEGES ON rm. * TO 'rm'@'%';
 
FLUSH PRIVILEGES;

1.7 安装材料准备

(1)CM与 CDH下载

http://archive.cloudera.com/cm5/cm/5/

http://archive.cloudera.com/cdh5/parcels/5.10.0/

(2)在含有7个cm文件的文件夹目录向下使用：sudo createrepo(生成repodata)，使用apache2，将上述cdh5.10.0/cm5.10.0 目录移动到/var/www/html 目录下,

使得用户可以通过 HTTP 访问这些 rpm 包。通过http://192.168.0.231/cm5.13.2/可访问到。(apache2的部署实现？)

(3)验证jdk

1.8 安装CM

(1)安装CM-server

sudo yum -y install cloudera-manager-server

(2)初始化数据库

Sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql cm cm password

(3)启动CM-server

sudo systemctl start cloudera-scm-server

(4)检查端口是否监听(需要等待一段时间重启)

netstat -nltp | grep 7180

(5)访问 CM通过 http:// 192.168.0.230:7180/cmf/login

二．web界面操作

(1)同意协议，点击继续

(2)选择60天试用版，点击继续

(3)输入所有节点的IP,搜索→继续

(4) 选择“更多选项”

填入CDH所在的服务器地址

(5)选择相应的版本

(6)“自定义存储库”，填入cm的地址http://192.168.0.231/cm5.13.2/，继续

(7)选择安装jdk及其他，然后继续

(8)去掉对勾，默认多用户模式

(9)配置ssh账号密码：root/12345678,点击继续。

(10)完成安装

三．组件安装

3.1 自定义服务

3.2 节点规划

3.3 数据库设置

(由于将源数据库规划在node3上且node3没有该数据库，必须下载Mariadb然后建库metastore：

create database metastore default character set utf8;
 
CREATE USER 'hive'@'%' IDENTIFIED BY 'password';
 
GRANT ALL PRIVILEGES ON metastore. * TO 'hive'@'%';
 
FLUSH PRIVILEGES;

)

测试通过，继续

3.4 集群设置

保持默认(主要设置DataNode数据目录)

3.5.进入自动安装

3.6 完成安装，进入主界面

3.7 几个参数配置

(1)配置dfs.replication值为2，并在NameNode所在执行以下命令:

su hdfs

hadoop fs -setrep 2 /

(2)dfs.pemissions中框中对号去掉。

(3)yarn.nodemanager.resource.memory-mb为1.375吉字节

yarn.scheduler.maximum-allocation-mb为1.375吉字节

(4)重启集群

四．验证

4.1 HDFS验证

(1)hadoop fs -mkdir -p /lilei/test_table

(2)cat > a.txt

1#2

c#d

我#你

(3)hadoop fs -put a.txt /lilei/test_table

(4)hadoop fs -cat /lilei/test_table/a.txt

显示：

4.2 Hive验证

(1)hive

(2)create external table test_table

(

s1 string,

s2 string

)

row format delimited fields terminated by '#'

stored as textfile location '/lilei/test_table';