我是靠谱客的博主 洁净人生,这篇文章主要介绍Flink 窗口处理函数 WindowFunction,现在分享给大家,希望可以做个参考。

传送门:Flink 系统性学习笔记


在之前的文章中我们已经了解了 Flink 的窗口机制,并介绍了其中涉及的组件:WindowAssigner、WindowFunction、Trigger、Evictor。在 Flink 窗口分配器 WindowAssigner 中我们知道可以通过不同类型的窗口分配器 WindowAssigner 将元素分配到窗口中。在指定 WindowAssigner 后,需要在每个窗口上指定我们要执行的计算逻辑,这就是窗口函数(WindowFunction)的责任。一旦系统确定窗口准备好处理数据,窗口函数就会被调用来处理窗口中的每个元素。

按照窗口计算原理划分,可用于处理窗口数据的函数有两种:

  • 增量聚合函数:增量聚合函数在窗口内以状态形式存储某个值,每个新加入的窗口的元素对该值进行更新,即窗口中只维护中间结果的状态值,不需要缓存原始数据。这种函数计算性能高,占有存储空间少,因为 Flink 可以在每个元素到达窗口时增量地进行聚合。代表函数有 ReduceFunction,AggregateFunction。
  • 全量窗口函数:全量窗口函数对属于该窗口的元素全部进行缓存,只有等到窗口触发的时候,才对所

最后

以上就是洁净人生最近收集整理的关于Flink 窗口处理函数 WindowFunction的全部内容,更多相关Flink内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(60)

评论列表共有 0 条评论

立即
投稿
返回
顶部