无情曲奇

文章
6
资源
1
加入时间
3年0月21天

spark df插入hive表后小文件数量多,如何合并?

原文地址:https://www.cnblogs.com/yy3b2007com/p/7113936.html 在做spark开发过程中,时不时的就有可能遇到租户的hive库目录下的文件个数超出了最大限制问题。一般情况下通过hive的参数设置:  val conf = new SparkConf().setAppName("MySparkJob") //.setMas...