概述
Flink 版本:1.13.0
在过去的几年里,背压的问题从不同的角度得到了解决。然而,在判断和分析背压来源时,最近的 Flink 版本发生了很大的变化(尤其是在 Flink 1.13 中新增了监控指标和 Web UI)。这篇文章将一起看一下其中的一些变化,并详细介绍如何追踪背压的来源,但首先……
1. 什么是背压?
Flink 如何处理背压 这篇文章虽然比较旧,但比较准确的解释了背压。如果您不了解背压这个概念,我强烈建议您阅读一下。如果想更深入、更底层地了解该话题以及 Flink 的网络堆栈是如何工作的,可以查阅Flink 网络流控和反压剖析详解。
从高层次上理解,如果作业图中的某些算子无法以接收记录相同的速度处理记录,就会发生背压。运行这个慢算子的子任务的输入缓冲区就会被填满。一旦输入缓冲区被填满,背压就会传播到上游子任务的输出缓冲区。一旦上游子任务的输出缓冲区被填满,上游子任务就被迫降低处理速度,来匹配慢算子的处理速度,最终导
最后
以上就是迷人小兔子为你收集整理的Flink 如何定位背压来源的全部内容,希望文章能够帮你解决Flink 如何定位背压来源所遇到的程序开发问题。
如果觉得靠谱客网站的内容还不错,欢迎将靠谱客网站推荐给程序员好友。
本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
发表评论 取消回复