Java,Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小一些配置和前提说明获取行数获取大小额外说点hadoop fs -dus
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法:使用getBytes()第二种解决办法:使用listStatus()简单的情况比较麻烦的情况第三种解决办法:使用getContentSummary()额外说点hadoop fs -dus &