犹豫缘分

文章
6
资源
0
加入时间
2年10月17天

mapreduce编程流程

Mapreduce的编程流程主要分八个阶段:两个MAP阶段,四个shuffle阶段,两个reduce阶段。Map两个阶段:1:设置inputformat类,将数据分为key-value对(k1 v1),并将其输入到第二步。2:自定义Map逻辑将第一步的结果转换为另外的键值对(k2,v2),并输出。shuffle四个阶段:3:对输出的键值对进行分区。4:对不同分区的数据按照相同的key排序。5:(可选),对分组后的数据进行初步规约,降低数据的网络拷贝。6:对数据进行分组,将相同key的valu