前言

API的spark版本为v2.2.0。参考链接pyspark.sql.functions官方文档

详解了部分常用的API及使用方法。

正文

三角函数及数学函数

agg系列

列编解码

时间相关

Window function

这部分请参考我的博文：《PySpark和SQL中的Window function》

字符串处理

多个列操作(横向操作)

Collection function

无分类常用API

无分类

代码例子

concat_ws

d1 = {'first_name':["LeBron","Stephen","Kevin"], 'last_name':["James","Curry","Durant"]}
df1 = spark.createDataFrame(pd.DataFrame(d1))
df1.show()
"""
输出:
+----------+---------+
|first_name|last_name|
+----------+---------+
|    LeBron|    James|
|   Stephen|    Curry|
|     Kevin|   Durant|
+----------+---------+
"""

df2 = df1.withColumn("full_name", F.concat_ws("-", F.col("first_name"), F.col("last_name")))
df2.show()
"""
输出:
+----------+---------+-------------+
|first_name|last_name|    full_name|
+----------+---------+-------------+
|    LeBron|    James| LeBron-James|
|   Stephen|    Curry|Stephen-Curry|
|     Kevin|   Durant| Kevin-Durant|
+----------+---------+-------------+
"""

最后

以上就是糊涂秋天最近收集整理的关于pyspark.sql.functions模块：内置函数集合前言正文代码例子的全部内容，更多相关pyspark内容请搜索靠谱客的其他文章。