set.hive.groupby.skewindata=true专讲

218 阅读 0 评论 144 点赞

我是靠谱客的博主专一心锁，这篇文章主要介绍set.hive.groupby.skewindata=true专讲，现在分享给大家，希望可以做个参考。

2019-04-23 10:54:00

问题：

　　set.hive.groupby.skewindata=true;存在一定的局限性

问题分析：

　　skewindata配置真正起作用，有以下三种情况：

　　　　1、select count distinct ... from ...

　　　　2、select a,count(*) from .... group by a

　　　　3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择，直接将mode从mergepartitial设置成对应的确定形式，但是当distinct和non-distinct同时存在时，选择就会出问题

图表对比：

UDAF相关mode解释

转载于:https://www.cnblogs.com/wanfeng1937/p/10755178.html

以上就是专一心锁最近收集整理的关于set.hive.groupby.skewindata=true专讲的全部内容，更多相关set内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。