hudi0.8.0编译及集成spark3

下载地址：https://archive.apache.org/dist/hudi/0.8.0/

一、修改pom.xml文件添加阿里云仓库

 <repository>
<id>maven-ali</id>
<url>http://maven.aliyun.com/nexus/content/groups/public//</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>true</enabled>
<updatePolicy>always</updatePolicy>
<checksumPolicy>fail</checksumPolicy>
</snapshots>
</repository>

二、在源码包路径下编译
Spark2编译：
mvn clean install -DskipTests -DskipITs
Spark3编译：
mvn clean package -DskipTests -Dspark3
三、spark-shell启动
spark-shell --packages org.apache.hudi:hudi-spark-bundle_2.12:0.8.0,org.apache.spark:spark-avro_2.12:3.0.2 --conf ‘spark.serializer=org.apache.spark.serializer.KryoSerializer’

最后

以上就是任性心锁为你收集整理的hudi0.8.0编译及集成spark3的全部内容，希望文章能够帮你解决hudi0.8.0编译及集成spark3所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。