Hive解决小文件一、小文件的产生源头二、小文件产生的影响三、解决小文件

71 阅读 0 评论 47 点赞

我是靠谱客的博主飞快大雁，最近开发中收集的这篇文章主要介绍Hive解决小文件一、小文件的产生源头二、小文件产生的影响三、解决小文件，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

一、小文件的产生源头

1.数据源本身就是有很多小文件

2.动态分区插入数据产生大量小文件，导致map数据剧增

3.reduce个数越多小文件的个数越多

4.insert插入数据时也会产生过多小文件：ReduceTask数量*分区数=文件数或MapTask*分区数=文件数

二、小文件产生的影响

1.对于它的存储底层Hdfs来说，HDFS本身就不适合存储小文件，每一个小文件就是150Byte如果大量的小文件产生会导致NameNode元数据增多，占用大量内存

2.对于hive来说，每一个小文件都会当成一个块，启动map任务来完成，而map任务启动和初始化的时间远远大于逻辑处理时间会造成很大的资源浪费，同时可执行的map数是受限的

三、解决小文件

1.使用hive自带的CombinehiveInputFormat，在map执行前合并小文件

2.开启JVM重用，如果Task任务计算的数据量很小，可以让同一个JOB的多个Task运行在一个JVM中，不必为每个Task都开启一个JVM

3.merge：将任务结束时产生的多个小于16M的小文件合并成一个256M的大文件

4.设置合理的map数和reduce数