潇洒宝贝

文章
4
资源
0
加入时间
3年0月8天

org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException问题问题分析解决方案

问题SparkStreaming实时消费kafka数据,数据聚合后重分区,每个分区内部,写hive表;写文件的过程中,文件名具体到批次时间。通过executor的日志,发现偶尔会有下面的报错21/01/06 13:44:00 WARN DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)