Hbase 笔记(12) 集群管理

1、减少节点

减少：graceful_stop.sh VA128 

系统会把region从对应服务器上移出去，减少扰动。

重新启动节点： hbase-daemon.sh start regionserver

2、滚动重启

使用 hbase hbck  可以确认集群数据的一致性(meta 表)

3、新增服务器

添加备份hmaster:

(1). 方法1：修改 backup-masters 文件,  添加机器名

(2) 方法2：使用命令 hbase-daemon.sh start master --backup

添加新的region server：

(1). 方法1：修改regionservers 文件

(2) 方法2：使用命令 hbase-daemon.sh start regionserver

4、导入、导出数据

Hbase 包自带工具

导出命令：hadoop jar ./hbase-0.94.24.jar export testtable   /user/admin/testtable

导入命令：hadoop jar ./hbase-0.94.24.jar import testtable   /user/admin/testtable

5、CopyTable 工具

用于主从集群之间的复制

hadoop jar ./hbase-0.94.24.jar copyTable  --new.name=testtable2   testtable

6、批量导入

方法1：MapReduce 方法

方法2：hadoop jar ./hbase-0.94.24.jar importtv

hadoop jar ./hbase-0.94.24.jar completebulkload

7、复制

配置hbase.replication 为true

然后使用命令：

add_peer  '1', 'server2:2181:/hbase2'

start_replication

stop_replication

remove_peer '1'

确认复制：

hadoop jar ./hbase-0.94.24.jar  verifyrep

8、集群共存

为了测试，可让让两个不同的HBase实例运行在同一个物理机器上。

9、改变日志级别

修改 log4j.properties

10、故障处理  Fsck

 命令：hbase hbck

可以检查region是否同时存在于.MTAT. 表和HDFS中，检查其是否只被指派给唯一的region server。

可以通过表细节信息与region比较，找到缺失的region，检查region起始终止键范围中的空洞或重叠。

-fix 选项可修复问题

11、日志分析

 

12、常见问题

(1)、 安装检查内容： 

文件句柄：cat  /proc/<PID of  JVM>/limits

DataNode连接数：

  <property>
         <name>dfs.datanode.max.xcievers</name>
         <value>4096</value>
  </property>

压缩：

垃圾回收/内存调优：

（2）、稳定性问题：

ZooKeeper 不能与 DataNode、TaskTracker、RegionServer部署在同一个节点。

在小集群中，ZooKeeper 可与NameNode、SecondaryNamenode、JobTracker 部署到一起。