拉长豌豆

文章
4
资源
0
加入时间
2年10月24天

一文彻底掌握Apache Hudi的主键和分区配置

欢迎关注微信公众号:ApacheHudi1. 介绍Hudi中的每个记录都由HoodieKey唯一标识,HoodieKey由记录键和记录所属的分区路径组成。基于此设计Hudi可以将更新和删除快速应用于指定记录。Hudi使用分区路径字段对数据集进行分区,并且分区内的记录有唯一的记录键。由于仅在分区内保证唯一性,因此在不同分区之间可能存在具有相同记录键的记录。应该明智地选择分区字段,因为它可能影响摄取和查询延迟。2. KeyGenerators(键生成器)Hudi提供了一些开箱即用的键生成器,用户可以