HIVE的常用优化方式
1.开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;设置mapreduce中map输出数据的压缩方式set mapreduce.map.output.compress.codec=org.apache.hadoop.io.
