Map join引起的数据倾斜问题的解释

71 阅读 0 评论 47 点赞

我是靠谱客的博主腼腆小土豆，最近开发中收集的这篇文章主要介绍Map join引起的数据倾斜问题的解释，觉得挺不错的，现在分享给大家，希望可以做个参考。

Map join引起的数据倾斜问题的解释
普通的join，那么肯定要走shuffle，那么普通的join 肯定走的是reduce join
先将所有相同的key，对应的values，汇聚到一个task中，然后再进行join。
将reduce join转换为map join。

spark中如果两个RDD要进行join，其中一个RDD是比较小的。一个RDD是一百万数据，一个RDD是一万数据。
如果一个RDD很小 broadcast(广播变量出去的那个小数据以后，就会在每个executor manager中都驻留一份。要确保你的内存)

正常join是在reduce端join 会经过shuffle 数据重新分区以后会产生数据倾斜如果map join把小表缓存在内存中直接在map端进行计算出结果不会产生shuffle过程所以会解决数据倾斜问题

以上就是腼腆小土豆为你收集整理的Map join引起的数据倾斜问题的解释的全部内容，希望文章能够帮你解决Map join引起的数据倾斜问题的解释所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。