一文搞懂 Flink 的 Exactly Once 和 At Least Once
https://mp.weixin.qq.com/s/ZbDzxDgd9phmNIVhNhXImw
Barrir总结
1 Source会自动的插入一个Barrir 跟随Kafka消息一同发送到下游Operator算子
2 当Operator1接收到Barrair(b1)后将触发checkpoint触发器,并将结果写入到RocksDB[写入系统可修改]
3 当Operator2接收到Barrair(b2)后将触发checkpoint触发器,并将结果写入到RocksDB[写入系统可修改]
4 b1,b2随消息发送到Operator3,假如b1先到达并且配置的是Exaclty Once 那么后面的消息(如m1,m2)会缓存起来(目的是为了提高性能),等b2到达后(及对齐后)将触发checkpoint
最后
以上就是贪玩龙猫最近收集整理的关于一文搞懂 Flink 的 Exactly Once 和 At Least Once【总结】的全部内容,更多相关一文搞懂内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复