报错：The current failed datanode replacement policy is DEFAULT1.问题2.原因3.解决办法

66 阅读 0 评论 44 点赞

我是靠谱客的博主甜蜜棉花糖，最近开发中收集的这篇文章主要介绍报错：The current failed datanode replacement policy is DEFAULT1.问题2.原因3.解决办法，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

文章目录

1.问题
2.原因
3.解决办法

1.问题

20/08/19 11:20:26 ERROR AsyncEventQueue: Listener EventLoggingListener threw an exception
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[10.180.210.232:50010,DS-6865d481-6c6c-4c17-a141-4452bb8a7e69,DISK], DatanodeInfoWithStorage[10.180.210.235:50010,DS-2e07f1fe-c293-4c1b-a49c-19ebaba93b42,DISK]], original=[DatanodeInfoWithStorage[10.180.210.232:50010,DS-6865d481-6c6c-4c17-a141-4452bb8a7e69,DISK], DatanodeInfoWithStorage[10.180.210.235:50010,DS-2e07f1fe-c293-4c1b-a49c-19ebaba93b42,DISK]]). 
The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
	at org.apache.hadoop.hdfs.DataStreamer.findNewDatanode(DataStreamer.java:1304)
	at org.apache.hadoop.hdfs.DataStreamer.addDatanode2ExistingPipeline(DataStreamer.java:1372)
	at org.apache.hadoop.hdfs.DataStreamer.handleDatanodeReplacement(DataStreamer.java:1598)
	at org.apache.hadoop.hdfs.DataStreamer.setupPipelineInternal(DataStreamer.java:1499)
	at org.apache.hadoop.hdfs.DataStreamer.setupPipelineForAppendOrRecovery(DataStreamer.java:1481)
	at org.apache.hadoop.hdfs.DataStreamer.processDatanodeOrExternalError(DataStreamer.java:1256)
	at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:667)

2.原因

HDFS无法写入数据，集群环境中有3个datanode，备份数量设置的是3。在写操作时，会在pipeline中写3个机器。默认replace-datanode-on-failure.policy是DEFAULT，如果系统中的datanode大于等于3，它会找另外一个datanode来拷贝。目前机器只有3台，因此只要一台datanode出问题，就一直无法写入成功。

3.解决办法

修改hdfs-site.xml文件，添加如下两项配置：

<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
  <value>true</value>
</property>
<property>
  <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
  <value>NEVER</value>
</property>

在这里插入图片描述

对于dfs.client.block.write.replace-datanode-on-failure.enable，客户端在写失败的时候，是否使用更换策略，默认是true没有问题。
对于dfs.client.block.write.replace-datanode-on-failure.policy，default在3个或以上备份的时候，是会尝试更换结点尝试写入datanode。而在两个备份的时候，不更换datanode，直接开始写。对于3个datanode的集群，只要一个节点没响应写入就会出问题，所以可以关掉。