黑猴子的家：Hive 表的优化之 Group By

63 阅读 0 评论 42 点赞

我是靠谱客的博主昏睡皮卡丘，最近开发中收集的这篇文章主要介绍黑猴子的家：Hive 表的优化之 Group By，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。

并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。

开启Map端聚合参数设置

1、是否在Map端进行聚合，默认为True

hive.map.aggr = true

2、在Map端进行聚合操作的条目数目

hive.groupby.mapaggr.checkinterval = 100000

3、有数据倾斜的时候进行负载均衡（默认是false）

 hive.groupby.skewindata = true

当选项设定为 true，生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key分布到Reduce中（这个过程可以保证相同的Group By Key被分布到同一个Reduce中），最后完成最终的聚合操作。