1. 首页
  2. 文章中心
  3. 大数据

基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯

92 阅读 0 评论
我是靠谱客的博主 简单小懒猪，最近开发中收集的这篇文章主要介绍基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

1、基础环境

OS：Centos 7.6
Cloudera Manager：6.3.1
CDH：6.3.2
JDK：1.8
MySQL（MariaDB）：5.7

设有三个节点
node01 192.168.0.1
node02 192.168.0.2
node03 192.168.0.3

2、服务器设置（所有节点）

2-1、设置静态ip（所有节点）

在这里插入图片描述

#如下图中修改配置文件
vim /etc/sysconfig/network-scripts/ifcfg-en???
#增加内容START
IPADDR="192.168.0.1"
NETMASK="255.255.255.0"
GATEWAY="xxxx"
DNS1="xxxx"
#增加内容END
#修改完文件后，重启网络服务
service network restart
#检查网络是否正常
ping www.baidu.com
2-2、修改hostname以及hosts文件（所有节点）
hostnamectl set-hostname node01
#其他节点
hostnamectl set-hostname node02
hostnamectl set-hostname node03
2-3、关闭防火墙（所有节点）
#查看防火墙状态
	systemctl status firewalld.service
#临时关闭防火墙
	systemctl stop firewalld.service
#禁止firewall开机启动
	systemctl disable firewalld.service
2-4、禁用SELinux（所有节点）
#临时关闭
setenforce 0
getenforce
#永久关闭
vim /etc/selinux/config
#将SELINUX=enforcing修改为
SELINUX=disabled
2-4、禁用Swap（所有节点）
#在运行时更改
sysctl -w vm.swappiness=0 
#编辑 /etc/sysctl.conf 以在重启后依然生效
echo "vm.swappiness = 0">> /etc/sysctl.conf
swapoff -a
free -g
sysctl -p  
free -g
2-5、配置免密登录

所有节点执行

#生成密钥对（公钥和私钥）三次回车生成密钥
ssh-keygen -t rsa
#查看公钥
cat /root/.ssh/id_rsa.pub

主节点node01执行：

#将密匙输出到/root/.ssh/authorized_keys
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys
chmod 600 /root/.ssh/authorized_keys
#追加密钥到主节点(需要操作及密码验证，追加完后查看一下该文件)
ssh node02.cm cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
ssh node03.cm cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
cat /root/.ssh/authorized_keys
#复制密钥到从节点
scp /root/.ssh/authorized_keys root@node02.cm:/root/.ssh/authorized_keys
scp /root/.ssh/authorized_keys root@node03.cm:/root/.ssh/authorized_keys
2-6、安装jdk（所有节点）
#安装JDK
yum install -y oracle-j2sdk1.8.x86_64
#没有包的情况，下载分发，手动安装
#链接：https://pan.baidu.com/s/1i2agD1dcOliBHVKWb1Ykpg 
#提取码：cdh6 
rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
#重新安装完成之后
vi /etc/profile
#文件末尾add for JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH
2-7、安装设置NTP服务

【node01】

yum install ntp
vim /etc/ntp.conf
#ntp.conf
#设置可以访问NTP服务的客户端
#node01主节点 IP
restrict 192.168.0.1
#node02 从节点-1 IP
restrict 192.168.0.2
#node03 从节点-2 IP
restrict 192.168.0.3
restrict 192.168.0.0 mask 255.255.0.0 nomodify notrap
###############################################
#设置NTP服务地址
server 127.127.1.0
server ntp1.aliyun.com     #阿里云时间服务器（ntp1...21等）
server 127.0.0.1           #表示允许在前面同步失败的情况从本机同步
#这个配置主要用来设定本机作为为其他机器的时间源的时候，其层数为多少，层数必须在15层之内，一般取10。
fudge  127.127.1.0 stratum 8

【node02，node03】

yum install ntp
vim /etc/ntp.conf
#ntp.conf
server node01

重新启动 ntp 服务和设置开机自启（所有节点）：

service ntpd restart
systemctl enable ntpd.service

查看和测试：

ntpdc -c loopinfo #查看与时间同步服务器的时间偏差
ntpq -p #查看当前同步的时间服务器
ntpstat #查看状态定时同步crontab
crontab -e #可以不用设置
10 * * * * /usr/sbin/ntpdate centos1

3、搭建Cloudera本地包存储库（node01）

选择一个节点执行以下操作，设节点为node01
注意：操作系统可以先配置本地yum。例如阿里云的yum源。

3-1、准备httpd
#安装
yum install httpd
#启动
service httpd start
#开机自启
systemctl enable httpd

注意80端口是否被占用，如需修改则：

vi /etc/httpd/conf/httpd.conf
#增加/修改端口号如下：
Listen 8080
3-1、下载cdh的parcel包和cm的rpm包

所需安装文件如下：
CM
在这里插入图片描述

CDH
在这里插入图片描述
官网已经不提供直接下载了需要成为人家的客户才会帮助你下载；
在这里插入图片描述
链接: https://pan.baidu.com/s/1wD7ByJxLJSE6m_zUZ_oFTg
提取码：cdh6
完成下载之后
创建cdh6和cm6目录,将cdh的和cm的安装包拷贝/上传到创建的目录

cd /var/www/html/
mkdir cloudera-repos/cm6
mkdir cloudera-repos/cdh6
#将cdh的安装包和cm的包拷贝到创建的目录

在这里插入图片描述

#更新yum源yum-utils createrepo
yum -y install yum-utils createrepo
#进入yum源路径
cd /var/www/html/
createrepo /var/www/html/cm6/

分别访问 http://node01/cloudera-repo/cm6和http://node01/cloudera-repo/cdh6，结果如下，可以看到cm6中多了一个repodata文件夹：
在这里插入图片描述
在这里插入图片描述

#创建本地repo文件
vim /etc/yum.repos.d/cloudera-manager.repo
#添加如下内容(注意local-I改成本地yum主机IP，只能是ip)
[cloudera-manager]
name=Cloudera Manager, Version yum
baseurl=http://local-IP/cm6
gpgcheck=0
enabled=1
#更新yum源
yum clean all
yum makecache
#验证
yum list | grep cloudera-manager
#结果
[root@bigdata01 cm6]# yum list | grep cloudera-manager
cloudera-manager-agent.x86_64            6.3.1-1466458.el7             cloudera-manager
cloudera-manager-daemons.x86_64          6.3.1-1466458.el7             cloudera-manager
cloudera-manager-server.x86_64           6.3.1-1466458.el7             cloudera-manager
cloudera-manager-server-db-2.x86_64      6.3.1-1466458.el7             cloudera-manager
enterprise-debuginfo.x86_64              6.3.1-1466458.el7             cloudera-manager
#再将repo文件分发到其他节点
scp -r /etc/yum.repos.d/cloudera-manager.repo node02:/etc/yum.repos.d/
scp -r /etc/yum.repos.d/cloudera-manager.repo node03:/etc/yum.repos.d/

4、安装cloudera-manager和agent（node01）

#安装cloudera-manager
yum install -y cloudera-manager-agent cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresq-server

5、安装MariaDB数据库（node01）

#安装
yum install -y mariadb-server
#启动和开机自启
systemctl start mariadb && systemctl enable mariadb
#配置Mariadb数据库,可以在遇[Y/n]输入y设置root密码123456
mysql_secure_installation

6、初始化管理节点数据库（node01）

6-1、mysql驱动jar

/usr/share/java目录上传mysql-connector-java-5.1.34.jar并改名

cd /usr/share/java
#上传mysql-connector-java-5.1.34.jar并改名
mv mysql-connector-java-5.1.34.jar mysql-connector-java.jar
#分发到所有节点
scp mysql-connector-java.jar node02:$PWD
scp mysql-connector-java.jar node03:$PWD
6-2、执行数据库初始脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -p123456 --scm-host localhost scm root root

注意：初始化完成之后，登录的root账号的密码变成了root

7、其他节点安装agent（node02、node03）

#安装agent
yum install cloudera-manager-daemons cloudera-manager-agent -y

8、启动CDH

node01启动server

#启动
systemctl start cloudera-scm-server
#设置开机自启？？？
systemctl enable cloudera-scm-server

所有节点启动agent

#启动
systemctl start cloudera-scm-agent
#开机自启
systemctl enable cloudera-scm-agent

至此
访问http://node01:7180进行其他安装操作
用户名/密码: admin/admin

9、webUI界面操作

同意条款，选择“免费”版本。

9-1、指定主机

在这里插入图片描述

9-2、选择存储库

添加 http://node01/cloudera-repo/cm6和http://node01/cloudera-repo/cdh6
在这里插入图片描述在这里插入图片描述
jdk已经安装过，不需要勾选安装。
按提示操作直至结束。

10、熄灯

10-1、可能需要的元数据创建脚本

这一步创建的DB用户，将在webUI界面配置新增服务时 被使用到

下面列出了Cloudera Manager配置中的默认名称，但并不一应要用这些。

ServiceDatabaseUser
Cloudera Manager Serverscmscm
Activity Monitoramonamon
Reports Managerrmanrman
Huehuehue
Hive Metastore Servermetastorehive
Sentry Serversentrysentry
Cloudera Navigator Audit Servernavnav
Cloudera Navigator Metadata Servernavmsnavms
Oozieoozieoozie

在安装服务过程中需要配置元数据库信息时，创建对应数据库即可。

-- 创建所需数据库
--CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
--scm已经之前步骤创建过了
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
-- 创建所需用户
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';
10-2、CM、Oozie和Hue时区不同的问题

参考：https://blog.csdn.net/weixin_43215250/article/details/90522602

10-3、Hive元数据中文乱码问题

建表备注等中文乱码，全是 ???
解决：登入元信息数据库MariaDB

mysql -uroot -p123456

use metastore;
--修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
--修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
--修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

本文参考了：
https://www.cnblogs.com/ttzzyy/p/13072774.html#top
https://zhuanlan.zhihu.com/p/366308900

最后

以上就是简单小懒猪为你收集整理的基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯的全部内容，希望文章能够帮你解决基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(61)

相关文章

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】1. CDH概述2. 安装准备工作3 安装CDH
基于CentOS7的CDH6.3.2完全分布式集群搭建【上】1. CDH概述2. 安装准备工作3 安装CDH
【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】写在前面一、创建集群并安装HDFS服务
【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】写在前面一、创建集群并安装HDFS服务
yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
yarn集群下启动spark错误WARN:66 - Neither spark.yarn.jars nor spark.yarn.archive is set
spark启动失败：requirement failed: No output operations registered, so nothing to execute
spark启动失败：requirement failed: No output operations registered, so nothing to execute
基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯
基于Centos7搭建CDH6.3.2环境1、基础环境2、服务器设置（所有节点）3、搭建Cloudera本地包存储库（node01）4、安装cloudera-manager和agent（node01）5、安装MariaDB数据库（node01）6、初始化管理节点数据库（node01）7、其他节点安装agent（node02、node03）8、启动CDH9、webUI界面操作10、熄灯
Spark启动出现mater失败，work启动成功。
Spark启动出现mater失败，work启动成功。
CDH6.3安装部署手册
CDH6.3安装部署手册
CDH6.3.1 通过web管理界面查看各组件应用的版本
CDH6.3.1 通过web管理界面查看各组件应用的版本

评论列表共有 0 条评论

立即
投稿
返回
顶部