Spark、Hive UDF函数使用汇总

63 阅读 0 评论 42 点赞

我是靠谱客的博主舒适仙人掌，最近开发中收集的这篇文章主要介绍Spark、Hive UDF函数使用汇总，觉得挺不错的，现在分享给大家，希望可以做个参考。

Spark UDF：

关于UDF：UDF：User Defined Function，用户自定义函数。

创建测试用DataFrame

// 构造测试数据，有两个字段、名字和年龄

略。。。

// 注册一张user表

userDF.createOrReplaceTempView("user")

Spark Sql - UDF用法

下面的UDF的功能是计算某列的长度，该列的类型为String

spark.udf.register("strLen", (str: String) => str.length())

spark.sql("select name,strLen(name) as name_len from user").show

+-----+--------+

| name|name_len|

+-----+--------+

| Leo| 3|

|Marry| 5|

| Jack| 4|

| Tom| 3|

+-----+--------+

DataFrame - UDF用法

DataFrame的udf方法和Spark Sql的名字一样，但属于不同的类

在org.apache.spark.sql.functions里

import org.apache.spark.sql.functions._

//注册自定义函数（通过匿名函数）

val strLen = udf((str: String)

以上就是舒适仙人掌为你收集整理的Spark、Hive UDF函数使用汇总的全部内容，希望文章能够帮你解决Spark、Hive UDF函数使用汇总所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。