刻苦导师

文章
9
资源
0
加入时间
3年0月9天

Spark源码学习之KV-RDD的常见算子(1)前言源码

文章目录前言源码countByKey()reduceByKey()foldByKeyaggregateByKeygroupByKeycombineByKey前言之前讨论了非KV-RDD常见算子的一些实现,这次来看看KV-RDD。由于算子过多,本文只展示ByKey的常见算子。同样,本文侧重的是看这些算子之间的调用关系,从上图可以发现一些特点。分组聚合类函数最终都调用到了combineByKeyWithClassTag多数算子都有简单版本和指定分区个数的版本:简单版本通过defaultParti