复杂荔枝

文章
3
资源
0
加入时间
2年10月21天

spark优化----序列化持久化

简介: 除了对多次使用的RDD进行持久化操作之外,还可以进一步优化其性能,因为很有可能,RDD的数据是持久化到内存,或者磁盘中的,那么此时如果内存大小不是特别充足,完全可以使用序列化的持久化级别, 如下: 1.MEMORY_ONLY_SER 2.MEMORY_AND_DISK_SER 使用RDD.persist(StorageLeve...