spark dataset 分组求极值

原始数据：

+-----+---+
|  sex|age|
+-----+---+
|women| 35|
|  man|  3|
|women| 27|
|  man| 51|
|women| 34|
|  man| 26|
|  man| 49|
|women|  7|
|  man|119|
|  man|128|
|women|129|
|women| 41|
|  man| 33|
|  man|112|
|women| 33|
|women| 58|
|women|127|
|  man| 35|
|  man| 54|
|women|119|
+-----+---+
only showing top 20 rows

 import org.apache.spark.sql.functions._     //解决:无法重载方法agg
    df.groupBy("sex").agg(max("age")).show()
    df.groupBy().max().show()   // groupBy 不传参 不分组 
    /*
    +-----+--------+
|  sex|max(age)|
+-----+--------+
|  man|     132|
|women|     139|
+-----+--------+

+--------+
|max(age)|
+--------+
|     139|
+--------+
     */

最后

以上就是霸气镜子为你收集整理的spark dataset 分组求极值的全部内容，希望文章能够帮你解决spark dataset 分组求极值所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。