喜悦往事

文章
9
资源
0
加入时间
2年10月24天

Spark Core学习笔记6: RDD持久化

1.RDD持久化原理Spark非常重要的一个功能特性就是可以将RDD持久化到内存中。当对RDD执行持久化操作时,每个节点都会将自己操作的RDD的partition持久化到内存中,并且在之后对该RDD的反复使用中,直接使用内存缓存的partition。要持久化一个RDD,只要调用cache()或persist()方法即可。在该RDD第一次被计算出来时,就会直接缓存在每个节点中。cache()和persist()的区别在于,cache()是persist()的一种简化方式,cache()的底层