hive深度优化，提高效率50%不再是幻想——>>>>>超级详细

86 阅读 0 评论 57 点赞

我是靠谱客的博主整齐跳跳糖，最近开发中收集的这篇文章主要介绍hive深度优化，提高效率50%不再是幻想——>>>>>超级详细，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

#开启本地模式
set hive.exec.mode.local.auto=true;
	#注意：表示加载文件的最大值，若大于该配置仍会以集群方式来运行
	hive.exec.mode.local.auto.inputbytes.max默认值为128M
	
	
#开启并行模式 当硬件资源足够，查询数量大，当各个子查询无关，可以考虑开启
set hive.exec.parallel=true;
	#默认并行8个
	hive.exec.parallel.thread.number=8;
	
	
#严格模式默认  默认nostrict严格模式
	#开启后限制查询
	#1、对于分区表，必须添加where对于分区字段的条件过滤；
	#2、order by语句必须包含limit输出限制；
	#3、限制执行笛卡尔积的查询。
set hive.mapred.mode=strict;


#通过修改以下配置启用自动的mapjoin
#该参数为true时，Hive自动对左边的表统计量，如果是小表就加入内存，即对小表使用Map join
set hive.auto.convert.join = true
	#相关配置参数：
	#大表小表判断的阈值，如果表的大小小于该值则会被加载到内存中运行
	hive.mapjoin.smalltable.filesize;  
	#默认值：true；是否忽略map join hint 即map join标记#
	hive.ignore.mapjoin.hint；
	#默认值：true；将普通的join转化为普通的mapjoin时，是否将多个mapjoin转化为一个mapjoin
	hive.auto.convert.join.noconditionaltask;
	#将多个mapjoin转化为一个mapjoin时，其表的最大值
	hive.auto.convert.join.noconditionaltask.size;
	
	
#通过设置以下参数开启在Map端的聚合	
set hive.map.aggr=true;
	相关配置参数：
	#(必配！！！)是否对GroupBy产生的数据倾斜做优化，默认为false
	hive.groupby.skewindata
	#map端group by执行聚合时处理的多少行数据（默认：100000）
	hive.groupby.mapaggr.checkinterval： 
	#进行聚合的最小比例（预先对100000条数据做聚合，若聚合之后的数据量/100000的值大于该配置0.5，则不会聚合）
	hive.map.aggr.hash.min.reduction： 
	#map端聚合使用的内存的最大值
	hive.map.aggr.hash.percentmemory： 
	#map端做聚合操作是hash表的最大可用内容，大于该值则会触发flush
	hive.map.aggr.hash.force.flush.memory.threshold： 
		
		
#文件数目小，容易在文件存储端造成压力，给hdfs造成压力，影响效率
#设置合并属性
	#是否合并map输出文件：
	hive.merge.mapfiles=true
	#是否合并reduce输出文件：
	hive.merge.mapredfiles=true;
	#合并文件的大小：
	hive.merge.size.per.task=256*1000*1000
	
	
#控制Hive中Map以及Reduce的数量
	#Map数量相关的参数
		#一个split的最大值，即每个map处理文件的最大值（最好和hdfs上切片大小一致）
		mapred.max.split.size
		#一个节点上split的最小值
		mapred.min.split.size.per.node
		#一个机架上split的最小值
		mapred.min.split.size.per.rack
		

	#Reduce数量相关的参数
		#强制指定reduce任务的数量
		mapred.reduce.tasks
		#每个reduce任务处理的数据量
		hive.exec.reducers.bytes.per.reducer
		#每个任务最大的reduce数
		hive.exec.reducers.max
		
#Hive - JVM重用（类似数据库链接池）
	#适用场景：
	#1、小文件个数过多
	#2、task个数过多
	#有效的避免了task的重复开启关闭，有效的节约了时间
	#n为task插槽个数
set mapred.job.reuse.jvm.num.tasks=n; 

#缺点：设置开启之后，task插槽会一直占用资源，不论是否有task运行，直到所有的task即整个job全部执行完成时，才会释放所有的task插槽资源






排序优化不采用order by全排序，采用以下排序方式
	Sort By - 对于单个reduce的数据进行排序
	Distribute By - 分区排序，经常和Sort By结合使用
	
Hive Join
	尽可能使用相同的连接键（会转化为一个MapReduce作业）

大表join大表
	空key过滤：有时join超时是因为某些key对应的数据太多，而相同key对应的数据都会发送到相同的reducer上，从而导致内存不够。此时我们应该仔细分析这些异常的key，很多情况下，这些key对应的数据是异常数据，我们需要在SQL语句中进行过滤。
	空key转换：有时虽然某个key为空对应的数据很多，但是相应的数据不是异常数据，必须要包含在join的结果中，此时我们可以表a中key为空的字段赋一个随机的值，使得数据随机均匀地分不到不同的reducer上

去重统计
	数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，
	这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换