在使用Spark 计算HDFS数据时会遇到整个文件夹文件读取，删除输出路径的需求，特此记录一次
递归读取文件：
sc
.hadoopConfiguration
.setBoolean("mapreduce.input.fileinputformat.input.dir.recursive", true)删除已存在的路径：
def deleteOutPutPath(sc: SparkContext,outputPath: String):Unit={
val path = new Path(outputPath)
val hadoopConf = sc.hadoopConfiguration
val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
if(hdfs.exists(path)){
hdfs.delete(path,true)
}
}
最后
以上就是英勇乐曲最近收集整理的关于Spark递归读取文件夹 删除HDFS文件的全部内容，更多相关Spark递归读取文件夹内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复