hbase/hadoop异常：No lease on /hbase/archive/data/... File is not open for writing

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 40 -bandwidth 300
错误日志;

org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException:No lease on /hbase/archive/data/... File is not open for writing
 

原因及解决方法
调整HDFS中配置参数dfs.datanode.max.transfer.threads，默认为4096过小。
最大传输线程数:参数是一起配置的为: dfs.datanode.max.transfer.threads对于datanode来说，就如同linux上的文件句柄的限制，当datanode 上面的连接数操作配置中的设置时，datanode就会拒绝连接。 一般都会将此参数调的很大，40000+左右。确保Linux配置正确

减小mapper的数量，以减少hadoop打开文件数

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbase -mappers 15 -bandwidth 300

最后

以上就是谦让树叶为你收集整理的hbase/hadoop异常：No lease on /hbase/archive/data/... File is not open for writing的全部内容，希望文章能够帮你解决hbase/hadoop异常：No lease on /hbase/archive/data/... File is not open for writing所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。