俊秀雪碧

文章
6
资源
0
加入时间
2年10月21天

spark-sql使用hive的自定函数配置

1、spark-sql可以直接使用hive的自定义函数,而不需要重新写一套spark-sql的自定义函数,这里较大家一个简单的配置方式即可2、将hive的自定义函数jar拷贝到/usr/lib/spark-current/jars,我们的jar是先存在oss,所以用下面的命令, osscmd get --host=oss-cn-hangzhou-internal.aliyuncs.com --id=accessid --key=accesskey oss://bigdata-cps-test/