优美老师

文章
7
资源
0
加入时间
2年10月24天

Spark基础【RDD KV类型转换算子】一 RDD Key -Value类型转换算子二 案例

从shuffle的角度:reduceByKey和groupByKey都存在shuffle的操作,但是reduceByKey可以在shuffle前对分区内相同key的数据进行预聚合(combine)功能,这样会减少落盘的数据量,而groupByKey只是进行分组,不存在数据量减少的问题,reduceByKey性能比较高。那么还是只能使用groupByKey。在类型为(K,V)和(K,W)的RDD上调用,返回一个相同key对应的所有元素连接在一起的(K,(V,W))的RDD,不相同不连接。.....