1. 首页
  2. 文章中心
  3. cloudera

2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改

40 阅读 0 评论
我是靠谱客的博主 任性小霸王，最近开发中收集的这篇文章主要介绍2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一 ，环境准备 ：

1 ，安装软件 ：

  1. 方式一 ：下载一个压缩包，就可以了。
  2. 方式二 ： yum 安装，但是需要把源定位在 cdh。
  3. 方式三 ： rpm 包安装。
  4. 方式四 ： 在 web 页面点几下就好。

2 ，两个重要的网址 ：

  1. CDH5.14.0
    http://archive.cloudera.com/cdh5/parcels/5.14.0/
  2. Cloudera Manager5.14.0：
    https://archive.cloudera.com/cm5/cm/5/
    在这里插入图片描述

3 ，得到 ：

  1. 安装包 ：
    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
    解释 ：el6 >> centos6
  2. 安装包 ：
    cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

4 ，系统环境准备 ：

  1. 硬件规划 ：
    node01 ：10G
    node02 ：2G
    node03 ：2G

  2. 网络配置
    1 ，vi /etc/sysconfig/network
    2 ，vi /etc/hosts
    3 ，我们的 IP 地址分别是
    192.168.72.141
    192.168.72.142
    192.168.72.143

  3. SSH免密钥登录
    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
    ssh-copy-id

  4. 防火墙关闭
    service iptables stop
    chkconfig iptables off

  5. SELINUX 关闭
    setenforce 0
    vi /etc/selinux/config (SELINUX=disabled)

  6. 安装JDK配置环境变量

export JAVA_HOME=/usr/java/jdkXXX
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  1. 安装 NTP
    1 ，思路 ： 1 台机器做时间服务器，另外 2 台，每十分钟，都跟这个机器同步时间
    2 ，三台电脑，安装 ntp ：yum -y install ntp
    3 ，配置时间服务器 ：vim /etc/ntp.conf
restrict 192.168.72.0 mask 255.255.255.0 nomodify notrap

# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10

4 ，配置文件 ： vim /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"

5 ，重启 ntpd ： service ntpd restart
6 ，开机启动 ： chkconfig ntpd on
7 ，node02 , node03 配置时间同步 ： crontab -e

*/10 * * * * /usr/sbin/ntpdate node01

8 ，测试 ： date -s 完整日期时间（YYYY-MM-DD hh:mm[:ss]）：修改日期、时间
在 node01 上修改一个时间：date -s 19:08:08
现在 node01,node02,node03 三台机器时间都不同了，过一会，看看他们三个会不会同步时间
查看时间 ： date
9 ，将 node01 调整为网络时间一致
ntpdate cn.pool.ntp.org

  1. 安装配置 mysql ：node01
    1 ，安装 mysql ：
    yum install -y mysql-server
    2 ，启动 mysql ：
    service mysqld start
    chkconfig mysqld on
    3 ，初始化设置 mysql ：
    /usr/bin/mysql_secure_installation - 回车
    不输入密码 - 回车
    是否设置密码 - y
    123456 - 回车
    123456 - 回车
    删除默认用户吗 - n
    是否禁止远程登录 - n
    移除测试库吗 - n
    重新加载权限列表吗 - y
    4 ，刷新权限 ：
    mysql -uroot -p
    123456
    use mysql;
    delete from user;
    GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
    flush privileges;
  2. 下载第三方依赖包
    yum install -y chkconfig
    yum install -y python
    yum install -y bind-utils
    yum install -y psmisc
    yum install -y libxslt
    yum install -y zlib
    yum install -y sqlite
    yum install -y cyrus-sasl-plain
    yum install -y cyrus-sasl-gssapi
    yum install -y fuse
    yum install -y fuse-libs
    yum install -y redhat-lsb

二 ，clouderaManager 安装 ： 目录不要改

1 ，上传 cm 安装包 ： 到 node01

  1. 包名 ：cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
  2. 到哪个目录 ：/export/softwares

2 ，解压 ：node01

cd /export/softwares
tar -xzvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt

3 ，配置主节点 ： server

cd /opt/cm-5.14.0/etc/cloudera-scm-agent
vim config.ini

server_host=node01

4 ，创建用户 ： 3 个节点

  1. 三个节点都要做
  2. 目的 ： 限定权限
  3. 命令 ：
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

5 ，创建资源库的目录 ： 3 个节点

  1. Server 节点 ： node01
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
  2. Agent 节点 ： node01 , node02 , node03
    mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6 ，上传 mysql 驱动 ： 3 个节点

cd /usr/share/java
上传 ：mysql-connector-java-5.1.26-bin.jar
改名字 ： mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar

7 ，mysql 建用户 ： node01

mysql -uroot -p
123456
grant all on . to ‘temp’@’%’ identified by ‘123456’ with grant option;
exit;
意义 ： 建用户 temp ，密码 123456 ，给他所有权限

8 ，执行 cdh 脚本 ： 初始化 mysql 的 cdh 对应库 ：

  1. cd /opt/cm-5.14.0/share/cmf/schema
  2. 脚本 ：
./scm_prepare_database.sh mysql temp -h node01 -utemp -p123456 --scm-host node01 scm scm scm
  1. 意义 ： 格式/数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

9 ，下载 ： manifest.json

http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

10 ，制作 cdh 本地源 ： node01

  1. cd /opt/cloudera/parcel-repo
  2. 上传 ：
    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
    manifest.json
    在这里插入图片描述
  3. 改名字 ： 把 sha1 改成 sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

11 ，分发 ： node01

cd /opt
scp -r cloudera/ root@node02: P W D s c p − r c l o u d e r a / r o o t @ n o d e 02 : PWD scp -r cloudera/ root@node02: PWDscp−rcloudera/root@node02:PWD
scp -r cm-5.14.0/ root@node02: P W D s c p − r c m − 5.14.0 / r o o t @ n o d e 03 : PWD scp -r cm-5.14.0/ root@node03: PWDscp−rcm−5.14.0/root@node03:PWD

12 ，启动 CM Server ： node01

cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-server start

13 ，启动 agent ： node01 , node02 , node03

cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-agent start

14 ，启动成功的标志 ：

cd /opt/cm-5.14.0/log/cloudera-scm-server
tail -F cloudera-scm-server.log
这个文件不再抖动了，就说明启动成功了。
在这里插入图片描述

15 ，访问 ui 界面 ：

  1. 网址 ：
    http://node01:7180
  2. 用户名 / 密码
    admin / admin
  3. 勾选是的，继续
    在这里插入图片描述
  4. 选择免费版，继续 ： 中小企业，可以使用免费版
    在这里插入图片描述
  5. 继续

16 ，可以添加 agent ：

在这里插入图片描述
在这里插入图片描述

17 ，可以查看当前管理的 agent ：

在这里插入图片描述

18 ，集群管理理论 ：

  1. 假设我们一共有 1000 台机器。
  2. 可以拿出 500 台机器作为集群 1 。
  3. 再拿出另外 500 台作为集群 2 。
  4. 我们现在已经安装好了 3 个 agent ，所以不需要手动添加。
  5. 但是，如果我们机器太多，就需要在这里手动添加，因为，每台机器都安装一次 agent 太累了。

19 ，重启的代码如下 ：

  1. 关闭 CM Server ： node01
    cd /opt/cm-5.14.0/etc/init.d
    ./cloudera-scm-server stop

  2. 关闭 agent ： node01 , node02 , node03
    cd /opt/cm-5.14.0/etc/init.d
    ./cloudera-scm-agent stop

  3. 启动 CM Server ： node01
    cd /opt/cm-5.14.0/etc/init.d
    ./cloudera-scm-server start

  4. 启动 agent ： node01 , node02 , node03
    cd /opt/cm-5.14.0/etc/init.d
    ./cloudera-scm-agent start

20 ， 选择版本 ：

在这里插入图片描述

21 ，继续 ：

在这里插入图片描述

22 ，看到这个 ：

在这里插入图片描述

23 ，等着 ：

server 正在给 agent 传数据，都传好了，就看到这样的
在这里插入图片描述

24 ，继续 ：

在这里插入图片描述

25 ，修改配置 ： 检测的问题，我们要手动修改

在这里插入图片描述

  1. 三台机器同时做 ：
    echo 0 > /proc/sys/vm/swappiness
  2. 重新检测 ：
    在这里插入图片描述
  3. 这个问题改好了 ：
    在这里插入图片描述
  4. 三台机器修改下一个问题 ：
    echo never > /sys/kernel/mm/transparent_hugepage/defrag
    echo never > /sys/kernel/mm/transparent_hugepage/enabled
    vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
  1. 重新检测 ： 结果，全是对号，即可
    在这里插入图片描述
  2. 完成

26 ，安装软件 ：

  1. 自定义服务 ：
    在这里插入图片描述
  2. 选择要安装软件 ( 千万不要点 mr1 ，我们要安装的是 yarn )
  3. 选择 ： hdfs ， yarn ，zookeeper ，继续
    在这里插入图片描述
  4. hdfs 规划 ：
    在这里插入图片描述
  5. yarn 规划 ： 不动
    在这里插入图片描述
  6. zookeeper 规划 ：
    在这里插入图片描述
  7. 继续
  8. 继续
  9. 等着
  10. 继续
  11. 完成

最后

以上就是任性小霸王为你收集整理的2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改的全部内容，希望文章能够帮你解决2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
点赞(27)

相关文章

大数据集群基础环境搭建创建3台虚拟机并联网（centos7）环境准备
大数据集群基础环境搭建创建3台虚拟机并联网（centos7）环境准备
企业大数据平台搭建（二）集群管理工具CM 5.3.x安装
企业大数据平台搭建（二）集群管理工具CM 5.3.x安装
3 ，CM 使用
3 ，CM 使用
公众号回复消息 以及消息模板
公众号回复消息 以及消息模板
2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改
2 ，clouderaManager 详情，CM 安装，hdfs，yarn ，zk一 ，环境准备 ：二 ，clouderaManager 安装 ： 目录不要改
Centos 6.5 CM5.3.2和CDH5.3.2安装1. CM5.3.2安装2. CDH5.3.2安装
Centos 6.5 CM5.3.2和CDH5.3.2安装1. CM5.3.2安装2. CDH5.3.2安装
Centos6.8+cm5.3.6+cdh5.3.6安装
Centos6.8+cm5.3.6+cdh5.3.6安装
cm zookeeper 143 退出异常
cm zookeeper 143 退出异常

评论列表共有 0 条评论

立即
投稿
返回
顶部