一文搞懂 Flink 的 Exactly Once 和 At Least Once【总结】

128 阅读 0 评论 85 点赞

我是靠谱客的博主贪玩龙猫，最近开发中收集的这篇文章主要介绍一文搞懂 Flink 的 Exactly Once 和 At Least Once【总结】，觉得挺不错的，现在分享给大家，希望可以做个参考。

一文搞懂 Flink 的 Exactly Once 和 At Least Once

https://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImw

Barrir总结

1 Source会自动的插入一个Barrir 跟随Kafka消息一同发送到下游Operator算子

2 当Operator1接收到Barrair（b1）后将触发checkpoint触发器，并将结果写入到RocksDB[写入系统可修改]

3 当Operator2接收到Barrair（b2）后将触发checkpoint触发器，并将结果写入到RocksDB[写入系统可修改]

4 b1,b2随消息发送到Operator3，假如b1先到达并且配置的是Exaclty Once 那么后面的消息（如m1,m2）会缓存起来（目的是为了提高性能），等b2到达后（及对齐后）将触发checkpoint

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。