我是靠谱客的博主 曾经小懒虫,最近开发中收集的这篇文章主要介绍(13)HBase 1.2.6 集群部署1.引言2. 搭建Hadoop集群3. 搭建HBase集群,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

  • 引言
  • 搭建Hadoop集群
  • 搭建HBase集群
    • 1 解压HBase并改名
    • 2 修改配置
    • 3 启动hbase集群

1.引言

      在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群,其次HBase需要使用zookeeper进行管理,因此我们也需要搭建zookeeper集群,在本篇博客主要搭建的集群有:

  • zookeeper集群
  • Hadoop集群(由于在本篇博客中,博主配置了hadoop的自动切换NameNode,因此配置Hadoop集群之前需要配置zookeeper
  • Hbase集群

在本篇博客中使用到的环境有:

  • 操作系统为:Centos6.7
  • jdk的版本为:1.7
  • jdk的安装路径为:/usr/local/jdk
  • hadoop的版本为:2.6.1
  • hadoop的安装路径为:/usr/local/hadoop
  • zookeeper的版本为:3.4.9
  • zookeeper的安装路径为:/usr/local/zookeeper
  • hbase的版本为:1.2.6
  • hbase的安装路径为:/usr/local/hbase
  • 使用root用户进行集群搭建

      接下来我将按照下表进行搭建Hadoop集群:

HOST名称ip地址运行的进程
hadoop1192.168.159.130NameNode,ResourceManger,JournalNode,QuorumPeerMain,DFSZKFailoverController,HMaster
hadoop2192.168.159.131NameNode,JournalNode,QuorumPeerMain,DFSZKFailoverController
hadoop3192.168.159.132DataNode,NodeManger,JournalNode,QuorumPeerMain,HRegionServer
hadoop4192.168.159.133DataNode,NodeManger,HRegionServer
hadoop5192.168.159.134DataNode,NodeManger,HRegionServer

2. 搭建Hadoop集群

      如何搭建Hadoop自动切换NameNode的集群,请参考链接:Hadoop 2.6.1 集群部署—自动切换HA
      在上面的链接中介绍了如何搭建zookeeper集群和hadoop集群,搭建完成后,实现了以下表格的内容,因此接下来我们只需要在此基础上搭建HBase集群即可。

HOST名称ip地址运行的进程
hadoop1192.168.159.130NameNode,ResourceManger,JournalNode,QuorumPeerMain,DFSZKFailoverController
hadoop2192.168.159.131NameNode,JournalNode,QuorumPeerMain,DFSZKFailoverController
hadoop3192.168.159.132DataNode,NodeManger,JournalNode,QuorumPeerMain
hadoop4192.168.159.133DataNode,NodeManger
hadoop5192.168.159.134DataNode,NodeManger

3. 搭建HBase集群

3.1 解压HBase并改名

//解压HBase安装包
tar -zxvf hbase-1.2.6-bin.tar.gz -C /usr/local/
//进入/usr/local/目录
cd /usr/local/
//修改文件夹名称
mv hbase-1.2.6 hbase

3.2 修改配置

  • 修改配置文件conf/hbase-env.sh
//编辑conf/hbase-env.sh配置文件
vim conf/hbase-env.sh
//修改的配置文件内容
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=false
//备注:命令行模式下,输入“/HBASE_MANAGES_ZK”可查找HBASE_MANAGES_ZK的位置
  • 修改配置文件conf/hbase-site.xml
<!--
    hbase.rootdir
        代表了hbase在hadoop的地址
        value:因为我们配置了hadoop的HA,所以添加集群的逻辑名cluster1,如果没有配置HA,写绝对名称,比如:hdfs://hadoop1:9000/hbase
    hbase.cluster.distributed
        hbase的部署模式
        value:因为我们是分布式,所以选择true
    hbase.zookeeper.quorum
        hbase需要zookeeper调度,设置zookeeper的地址
        value:需要和自己情况对应,我的为:hadoop1,hadoop2,hadoop3
-->
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cluster1/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
</configuration>

这里写图片描述

  • hadoopHA配置拷贝到conf目录下面(如果 hadoop未配置HA,就不需要此步骤)
//将hadoop的hdfs-site.xml拷贝到hbase的conf下面
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf/
//将hadoop的core-site.xml拷贝到hbase的conf下面
cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hbase/conf/
  • 编辑配置文件regionservers
//编辑文件regionservers 
vim regionservers 
//编辑内容如下:
hadoop3
hadoop4
hadoop5

这里写图片描述

  • hbase分发到hadoop3,hadoop4,hadoop5节点
scp -rq /usr/local/hbase hadoop3:/usr/local
scp -rq /usr/local/hbase hadoop4:/usr/local
scp -rq /usr/local/hbase hadoop5:/usr/local

这里写图片描述

3.3 启动hbase集群

  • 命令启动hbase集群
//启动集群之前,首先保证hdfs进程和zookeeper进程启动正常
bin/start-hbase.sh

这里写图片描述

  • 访问web界面,查看hbase是否启动成功(http://hadoop1:16010)

这里写图片描述

最后

以上就是曾经小懒虫为你收集整理的(13)HBase 1.2.6 集群部署1.引言2. 搭建Hadoop集群3. 搭建HBase集群的全部内容,希望文章能够帮你解决(13)HBase 1.2.6 集群部署1.引言2. 搭建Hadoop集群3. 搭建HBase集群所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(50)

评论列表共有 0 条评论

立即
投稿
返回
顶部