秀丽柚子

文章
7
资源
0
加入时间
3年0月8天
解决Hive创建文件数过多的问题一. Hive的创建文件数的限制解决办法：如何解决小文件的问题

解决Hive创建文件数过多的问题一. Hive的创建文件数的限制解决办法：如何解决小文件的问题

一. Hive的创建文件数的限制Hive对文件创建的总数是有限制的，这个限制取决于参数：hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job解决办法：最简单的解决办法就是调大hive.exec.max.created.files
hive 2023-10-04

他的专栏

网站相关（0）
JavaScript（0）
显示器（0）
主板（1）
C语言（1）
Android（1）
解决方案（1）
数字媒体声音设计（1）
hive（1）
ESP32/8266（1）

他的归档

2023年10月（2）

热门文章

1
技嘉8i848p-g不过内存维修
2
C语言函数指针详解
3
Android studio listview实现列表数据显示 数据循环显示效果
4
智慧路灯解决方案-最新全套文件一、建设背景二、思路架构三、建设方案四、获取 - 智慧路灯全套最新解决方案合集
5
数字媒体声音设计 第四章 信号与系统
6
解决Hive创建文件数过多的问题一. Hive的创建文件数的限制解决办法：如何解决小文件的问题
7
【ESP8266 /ESP32】OLED显示自定义图标或中文