set.hive.groupby.skewindata=true专讲

69 阅读 0 评论 46 点赞

我是靠谱客的博主专一心锁，最近开发中收集的这篇文章主要介绍set.hive.groupby.skewindata=true专讲，觉得挺不错的，现在分享给大家，希望可以做个参考。

2019-04-23 10:54:00

问题：

　　set.hive.groupby.skewindata=true;存在一定的局限性

问题分析：

　　skewindata配置真正起作用，有以下三种情况：

　　　　1、select count distinct ... from ...

　　　　2、select a,count(*) from .... group by a

　　　　3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择，直接将mode从mergepartitial设置成对应的确定形式，但是当distinct和non-distinct同时存在时，选择就会出问题

图表对比：

UDAF相关mode解释

转载于:https://www.cnblogs.com/wanfeng1937/p/10755178.html

以上就是专一心锁为你收集整理的set.hive.groupby.skewindata=true专讲的全部内容，希望文章能够帮你解决set.hive.groupby.skewindata=true专讲所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。