顺心外套

文章
5
资源
0
加入时间
2年10月24天

hdfs的FileSystem实例化

前言在spark中通过hdfs的java接口并发写文件出现了数据丢失的问题,一顿操作后发现原来是FileSystem的缓存机制。补一课先FileSystem实例化FileSystem.get(config)是如何创建一个hadoop的FileSystem。分为3个步骤。1. 初始化所有支持的FileSystem(没有实例话,只是缓存类)2. 通过uri的schem...