spark入hudi延迟优化

72 阅读 0 评论 48 点赞

我是靠谱客的博主稳重雪糕，最近开发中收集的这篇文章主要介绍spark入hudi延迟优化，觉得挺不错的，现在分享给大家，希望可以做个参考。

最近在做spark入数据湖（hudi），

最开始使用默认的布隆过滤器索引，延迟总是不能达成要求，看了下原理，如果有比较多的更新，那么每次更新是需要读取base文件中的id来确认是真实的更新写入，因此更新较多的情况下，入湖延迟有比较大的波动。

后来看到了字节贡献的bucket索引，如果使用常规的用法，面临着分桶数需要提前指定，分桶大小难以估计的困难。

最后，我这块做的入湖，都是对应的mysql表入湖，每个表都有对应的自增id，而且每条mysql数据大小的范围就是通常的大小，没有相差太多，因此入湖的时候，我给每张表新增了一列_id_index, 采用这个字段做分区，同时使用bucketIndex，指定分桶数为1.

其中_id_index = id/step，这样相当于实现了范围分桶，

比如，如果指定step=10，那么

0-9在0号分区

10-19在1号分区，等等。。。

其实这相当于实现了一种range分桶的感觉，由于目前的线上数据，多是更新比较新的数据，最后入湖的延迟达到了一个比较稳定的低延迟。

后续可能根据这个思想实现一下range_bucket_index, 大致写了下比较简单，但是会限制指定的分桶字段只能是long型，而且如果不是自增的long型，其实是不好的。

好在mysql的自增id都符合这个要求。

以上就是稳重雪糕为你收集整理的spark入hudi延迟优化的全部内容，希望文章能够帮你解决spark入hudi延迟优化所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。