hive小文件治理hive小文件治理

56 阅读 0 评论 37 点赞

我是靠谱客的博主拼搏美女，最近开发中收集的这篇文章主要介绍hive小文件治理hive小文件治理，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

hive小文件治理

背景

hive中的数据最终落地到HDFS上，在HDFS上不可避免的有小文件产生，小文件问题，会产生诸多问题，比如：
1.对底层存储HDFS来说，HDFS本身就不适合存储大量小文件，小文件过多会导致namenode元数据特别大, 占用太多内存，严重影响HDFS的性能
2.对hive来说，在进行查询时，每个小文件都会当成一个块，启动一个Map任务来完成，而一个Map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的Map数量是受限的。

原因

产生小文件有诸多原因：
1.直接向hive表中插入数据，这种方式每次插入时都会产生一个文件，多次插入少量数据就会出现多个小文件，但是这种方式生产环境很少使用，可以说基本没有使用的
insert into table A values (1,'zhangsan',88),(2,'lisi',61);

2.通过load方式加载