殷勤花瓣

文章
6
资源
0
加入时间
4年1月24天

Hadoop计算框架特性

1.数据量大不是问题,数据倾斜是个问题。 2.jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几个jobs,耗时很长。原因是map reduce作业初始化的时间是比较长的。 3.sum,count,max,min等UDAF,不怕数据倾斜问题,hado...