我是靠谱客的博主 超帅绿茶，最近开发中收集的这篇文章主要介绍flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE一、完整报错二、错误原因三、解决方法，觉得挺不错的，现在分享给大家，希望可以做个参考。
概述
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
- 一、完整报错
- 二、错误原因
- 三、解决方法
一、完整报错
错误一：
- Error while trying to hflushOrSync!
错误二：
- Lease. Holder: DFSClient_NONMAPREDUCE_-370864028_41, pending creates: 638
二、错误原因
错误一原因：
- 每一个flume-agent配置的hdfsSink是完全一样的，每个flume-agent读取的source相同，有很大概率会出现多个flume-agent同时写同名文件，导致部分flume-agent无法继续
错误二原因：
- 多个线程中创建文件，多线程尝试写入同一文件的问题，如果第一个线程创建的文件被第二个线程覆盖，那么第一个线程将遇到上述异常。
三、解决方法
错误一解决方法：
- 确保hdfs文件名不一样：
prod1.sinks.sink1.hdfs.path = /prod/raw/kafka/%{topicname}/%{database}/%{table}/1h/%Y%m%d/%H
prod1.sinks.sink1.hdfs.filePrefix = %{hostname}-flumedata
错误二解决方法：
- 确保只接入相同的kafka topic一次
最后
以上就是超帅绿茶为你收集整理的flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE一、完整报错二、错误原因三、解决方法的全部内容，希望文章能够帮你解决flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE一、完整报错二、错误原因三、解决方法所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复