傲娇棒球

文章
10
资源
0
加入时间
2年10月21天

Spark性能调优-----常规性能调优(二)RDD优化

1.2.1 RDD复用在对RDD进行算子时,要避免相同的算子和计算逻辑之下对RDD进行重复的计算,如图2-1所示:图2-1 RDD的重复计算对图2-1中的RDD计算架构进行修改,得到如图2-2所示的优化结果:图2-2 RDD架构优化1.2.2 RDD持久化在Spark中,当多次对同一个RDD执行算子操作时,每一次都会对这个RDD以之前的父RDD重新计算一次,这种情况是必须要避免的,...