纯真皮皮虾

文章
9
资源
0
加入时间
3年0月8天

spark jion ,shuffle经历啦哪些过程

请求读取指定的分片数据split去MapOutputTrackerMaster拉取该shuffleid的分片地址信息通过netty到相关的地址拉取指定Partition的数据去拉取回来的数据执行聚合函数操作去执行后的iterator数据执行 keyorder排序数据,然后最后返回...

java 编码规范 1 命名风格

【强制】代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束。反例:_name / __name / $Object / name_ / name$ / Object$ 【强制】代码中的命名严禁使用拼音与英文混合的方式,更不允许直接使用中文的方式。 说明:正确的英文拼写和语法可以让阅读者易于理解,避免歧义。注意,即使纯拼音命名方式也要避免采用。 正例:alib...