隐形柜子

文章
7
资源
0
加入时间
2年10月17天

Sum of Consecutive Prime Numbers

题目描述Some positive integers can be represented by a sum of one or more consecutive prime numbers. How many such representations does a given positive integer have? For example, the integer 53 has two r...

hive上的小文件使用spark进行合并

hive上的小文件使用spark进行合并引言:我们的一些实时处理的文件再不同批次下生成的文件大小不一致,有时会产生大量的小文件,对于我们后期的数据处理影响极大,因此需要将小文件合并再save成大小均为128M的文件更为合适。原理:首先读取该目录下的文件大小 val fs = FileSystem.get(sc.hadoopConfiguration) val dirSize = fs.getContentSummary(new Path(lastInputPath)).getLengt