hdfs的FileSystem实例化
前言在spark中通过hdfs的java接口并发写文件出现了数据丢失的问题,一顿操作后发现原来是FileSystem的缓存机制。补一课先FileSystem实例化FileSystem.get(config)是如何创建一个hadoop的FileSystem。分为3个步骤。1. 初始化所有支持的FileSystem(没有实例话,只是缓存类)2. 通过uri的schem...