hadoop shell删除spark日志文件

hdfs占用查询.发现 /spark2-history/目录下占用磁盘最大。

[root@node104 ~]#  hdfs dfs -du -h /           
2.0 G    2.8 G    /app-logs
56.3 G   112.4 G  /apps
0        0        /ats
5.2 M    5.2 M    /atsv2
0        0        /export
1.3 G    1.3 G    /hdp
0        0        /livy2-recovery
0        0        /mapred
0        0        /mr-history
0        0        /root
298.6 M  298.6 M  /spark-yarn
113 G    339 G   /spark2-history
359.2 M  359.8 M  /tmp
145.1 M  185.5 M  /user
26.3 G   79.3 G   /warehouse

经查发现该目录下是spark离线和sparkstreaming实时任务的日志文件。

[root@node104 ~]#  hdfs dfs -du -h /spark2-history
10.4 M   31.2 M   /spark2-history/application_1623891448376_8178
12.6 M   37.8 M   /spark2-history/application_1623891448376_8179
1.5 M    384 M    /spark2-history/application_1623891448376_8182.inprogress
2.9 M    384 M    /spark2-history/application_1623891448376_8183.inprogress
293.7 K  384 M    /spark2-history/application_1623891448376_8184.inprogress

实时日志文件不可贸然删除，否则会导致任务报错退出。所以删除该目录下的离线任务日志文件。命令如下：

hadoop fs -rm -r `hadoop fs -ls /spark2-history/* | egrep -v '*.inprogress' | awk  '{print $8}'`

最后

以上就是专注太阳为你收集整理的hadoop shell删除spark日志文件的全部内容，希望文章能够帮你解决hadoop shell删除spark日志文件所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。