mapreduce任务中数据分布倾斜导致reduce负载不均衡的解决方案
概述:从所周知,当需求中数据出现分布不均的情况时,按照hadoop mr任务的默认partition方法,会出现某些机子负载过重的情况,这样会拖慢整个任务进度。在这里我介绍一个用随机数解决这个问题的方案,下面是通过代码来模拟map根据partition来分区的情况;package com.mxq.balance;import java.util.Vector;public class UNBalan