自定义指定hive生成的文件数
在hiveSql中指定生成的文件个数用到的参数如下:SET mapred.reduce.tasks=1001;但是单独加此参数,文件数并不会变成1001,为什么呢?其实是hive默认在mapReduce结束时合并小文件所致,因此需要加入以下两个参数:set hive.merge.mapfiles=false;(默认为true)set hive.merge.mapredfil...