概述
1、spark-sql可以直接使用hive的自定义函数，而不需要重新写一套spark-sql的自定义函数，这里较大家一个简单的配置方式即可
2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars，我们的jar是先存在oss，所以用下面的命令，
osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey
oss://bigdata-cps-test/hive-udx-0.2-jar-with-dependencies.jar
/usr/lib/spark-current/jars/hive-udx-0.2-jar-with-dependencies.jar3、创建自定义函数
DROP FUNCTION IF EXISTS call_tree_pattern;
CREATE FUNCTION call_tree_pattern AS 'com.xx.gateway.elastic.udf.xxxUDF';
4、如果我们的项目从hsql迁移到spark-sql，就可以很平滑的把自定函数迁移过来了
最后
以上就是俊秀雪碧为你收集整理的spark-sql使用hive的自定函数配置的全部内容，希望文章能够帮你解决spark-sql使用hive的自定函数配置所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复