我是靠谱客的博主 腼腆小土豆,这篇文章主要介绍Map join引起的数据倾斜问题的解释,现在分享给大家,希望可以做个参考。

Map join引起的数据倾斜问题的解释
普通的join,那么肯定要走shuffle,那么普通的join 肯定走的是reduce join
先将所有相同的key,对应的values,汇聚到一个task中,然后再进行join。
将reduce join转换为map join。

spark中 如果两个RDD要进行join,其中一个RDD是比较小的。一个RDD是一百万数据,一个RDD是一万数据。
如果一个RDD很小 broadcast(广播变量出去的那个小数据以后,就会在每个executor manager中都驻留一份。要确保你的内存)

正常join是在reduce端join 会经过shuffle 数据重新分区以后会产生数据倾斜 如果map join把小表缓存在内存中 直接在map端进行计算 出结果 不会产生shuffle过程 所以会解决 数据倾斜问题

最后

以上就是腼腆小土豆最近收集整理的关于Map join引起的数据倾斜问题的解释的全部内容,更多相关Map内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(56)

评论列表共有 0 条评论

立即
投稿
返回
顶部