spark dataset 分组求极值

93 阅读 0 评论 62 点赞

我是靠谱客的博主霸气镜子，这篇文章主要介绍spark dataset 分组求极值，现在分享给大家，希望可以做个参考。

原始数据：

+-----+---+
| sex|age|
+-----+---+
|women| 35|
| man| 3|
|women| 27|
| man| 51|
|women| 34|
| man| 26|
| man| 49|
|women| 7|
| man|119|
| man|128|
|women|129|
|women| 41|
| man| 33|
| man|112|
|women| 33|
|women| 58|
|women|127|
| man| 35|
| man| 54|
|women|119|
+-----+---+
only showing top 20 rows

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 import org.apache.spark.sql.functions._     //解决:无法重载方法agg
    df.groupBy("sex").agg(max("age")).show()
    df.groupBy().max().show()   // groupBy 不传参 不分组 
    /*
    +-----+--------+
|  sex|max(age)|
+-----+--------+
|  man|     132|
|women|     139|
+-----+--------+

+--------+
|max(age)|
+--------+
|     139|
+--------+
     */