关于hadoop中filesystem closed的error的想法

75 阅读 0 评论 50 点赞

我是靠谱客的博主含蓄蛋挞，最近开发中收集的这篇文章主要介绍关于hadoop中filesystem closed的error的想法，觉得挺不错的，现在分享给大家，希望可以做个参考。

在Hadoop上运行自己的程序，直接出现task failed，根据错误信息，找到关键词：filesystem closed。

参考以下两篇文章，基本可以确定，肯定是我程序中FileSystem.get(conf)生成的filesystem实例是在cache中的实例，所以会被某个线程在某个地方被close了。

http://blog.csdn.net/chenyi8888/article/details/7284245

http://os.51cto.com/art/201305/394782.htm

解决思路

1，配置Filesystem不缓存，这样每次都会重新创建一个对象而不是从cache中得到实例。

或者2，修改程序，使得每次只能一个线程访问filesystem

以上就是含蓄蛋挞为你收集整理的关于hadoop中filesystem closed的error的想法的全部内容，希望文章能够帮你解决关于hadoop中filesystem closed的error的想法所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。