spark df插入hive表后小文件数量多,如何合并?
原文地址:https://www.cnblogs.com/yy3b2007com/p/7113936.html 在做spark开发过程中,时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题。一般情况下通过hive的参数设置: val conf = new SparkConf().setAppName("MySparkJob") //.setMas...