概述
背景
报警得知2台机器宕机，推测是IDC同事在处理之前的报修。一台是系统盘故障，12块数据盘正常。一台是某块数据盘损坏。两台机器宕机时间相差不大，副本未自动补偿完毕，导致有27个block丢失，发生Block Missing，若干新旧文件发生corrupt。
解决方案
- 获得missing block列表，通过namenode即可获得。
- 通过ramos进入系统盘损坏的机器，将全部的missing block找到，依照原目录打包。
- 将上述文件拷贝至新机器，恢复正常目录结构，并部署和启动datanode。
- 稍等片刻，跟踪新节点日志，并执行fsck，确定所有的missing block均已找到，文件无corrupt，文件系统healthy。
- 将新机器的datanode执行decommission，下线即可。
总结
一般情况下，很难出现missing block。HDFS拥有较为健壮的自愈能力。但当该问题出现时，一般较难恢复。如果磁盘尚可读取，能找到对应的block和meta文件，依照原始目录，尚能恢复。
曾遇到执行多个setrep和balancer时，发生missing block的诡异问题。
试验过程中，仅将一个block及其meta放置于旧datanode的数据目录下，未能被识别，原因待查。
注：hdfs提供有debug工具，提供verify和verifyMeta，可以验证block与meta文件的一致性。
最后
以上就是漂亮冬瓜为你收集整理的HDFS数据恢复之Block Missing的全部内容，希望文章能够帮你解决HDFS数据恢复之Block Missing所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复