我是靠谱客的博主 自觉小笼包,最近开发中收集的这篇文章主要介绍Flink原理与实现:详解Flink中的状态管理,觉得挺不错的,现在分享给大家,希望可以做个参考。

概述

上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也就是说,如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once),Flink引入了state和checkpoint。

首先区分一下两个概念,state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink Job,在一个特定时刻的一份全局状态快照,即包含了所有task/operator的状态。

Flink通过定期地做checkpoint来实现容错和恢复。

参考

Flink状态管理和恢复机制

最后

以上就是自觉小笼包为你收集整理的Flink原理与实现:详解Flink中的状态管理的全部内容,希望文章能够帮你解决Flink原理与实现:详解Flink中的状态管理所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(74)

评论列表共有 0 条评论

立即
投稿
返回
顶部