spark中 hdfs文件路径检测是否存在、删除hdfs路径

spark中，检测hdfs文件夹是否存在 和 删除文件

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.spark.ml.common.HdfsHelper.isDir

1、检测hdfs文件路径是否存在
def pathIsExist(spark: SparkSession, path: String): Boolean = {
//取文件系统
val filePath = new org.apache.hadoop.fs.Path( path )
val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )
// 判断路径是否存在
fileSystem.exists( filePath )
}

2、删除文件
def deleteFile(spark: SparkSession, path: String) : Boolean = {
val filePath = new org.apache.hadoop.fs.Path( path )
val fileSystem = filePath.getFileSystem( spark.sparkContext.hadoopConfiguration )
if (isDir(fileSystem, path))
fileSystem.delete(new Path(path), true)//true: delete files recursively
else
fileSystem.delete(new Path(path), false)
}

最后

以上就是直率羽毛为你收集整理的spark中 hdfs文件路径检测是否存在、删除hdfs路径的全部内容，希望文章能够帮你解决spark中 hdfs文件路径检测是否存在、删除hdfs路径所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。