我是靠谱客的博主 纯真皮皮虾,这篇文章主要介绍spark jion ,shuffle经历啦哪些过程,现在分享给大家,希望可以做个参考。

请求读取指定的分片数据split
去MapOutputTrackerMaster拉取该shuffleid的分片地址信息
通过netty到相关的地址拉取指定Partition的数据
去拉取回来的数据执行聚合函数操作
去执行后的iterator数据执行 keyorder排序数据,然后最后返回

最后

以上就是纯真皮皮虾最近收集整理的关于spark jion ,shuffle经历啦哪些过程的全部内容,更多相关spark内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(45)

评论列表共有 0 条评论

立即
投稿
返回
顶部