怕孤单铅笔

文章
6
资源
0
加入时间
3年0月21天

Spark如何删除无效rdd checkpoint

spark可以使用checkpoint来作为检查点,将rdd的数据写入hdfs文件,也可以利用本地缓存子系统。当我们使用checkpoint将rdd保存到hdfs文件时,如果任务的临时文件长时间不删除,长此以往,hdfs会出现很多没有用的文件,spark也考虑到了这一点,因此,用了一些取巧的方式来解决这种问题。spark config:spark.cleaner.referenceTrack...