Flink 的反压机制

没报错,积压却越堆越高

章节

  • 0:00 开场
  • 0:31 一句话回答
  • 0:46 痛点 ① · Sink 写不动拖慢全链路
  • 1:10 痛点 ② · 反压会一级级传导
  • 1:30 原理 ① · 网络缓冲区
  • 2:01 原理 ② · 反压说明有瓶颈
  • 2:39 原理 ③ · 拖累延迟和 Checkpoint
  • 2:57 补充 · Web UI 怎么看反压
  • 3:16 补充 · 反压和数据倾斜
  • 3:35 完整决策树
  • 3:55 高频追问
  • 5:00 面试回答模板

文稿

开场

凌晨告警:Flink 任务没报错,也没重启,Kafka 积压却越堆越高。打开 Web UI,从 Sink 往上,一路标红:反压。面试官问:反压是怎么工作的?怎么判断它发生在哪?只答「下游慢会反压上游」,远远不够。他想听:压力怎么沿缓冲区传导?Source 为什么也被迫变慢?Web UI 怎么看?它和数据倾斜、慢 Sink 又是什么关系?

一句话回答

一句话回答:反压的本质,是下游算子处理不过来。输入队列和网络缓冲区被占满,上游发不出数据,只能放慢。它从瓶颈算子出发,逆着数据流一级级传导,最终让 Source 读取变慢。

痛点 ① · Sink 写不动拖慢全链路

先看痛点。第一,Sink 写不动,会拖慢整条链路。Kafka 每秒进来 10 万条,前面的 Map、Filter 都处理得过来。但写 MySQL 的 Sink,每秒只能写 2 万条。多出来的 8 万条不会凭空消失,只会堆在缓冲区里。就像高速出口只开一个收费窗口,车会从出口一路堵回入口。

痛点 ② · 反压会一级级传导

第二,反压不是一个点慢,而是会一级级传导。下游 Sink 慢,它的输入缓冲区先满。接着,上游的输出缓冲区 ResultPartition 也满了。上游 Task 再往外写就会阻塞,压力继续往上传。最后,连 Source 拉 Kafka 的速度也慢了下来。

原理 ① · 网络缓冲区

反压到底怎么工作?第一个关键:网络缓冲区。Task 之间交换数据,靠的不是无限队列,而是有限的 network buffer。上游算子把结果写进 ResultPartition,这是输出缓冲区。经网络传给下游的 InputGate 和 InputChannel,这是输入缓冲区。下游消费慢,buffer 被占满,上游就不能继续发送。所以反压不是额外加的限速器,而是有限缓冲加阻塞发送,自然形成的流控。

原理 ② · 反压说明有瓶颈

第二,反压通常说明某个算子是瓶颈。Source 变慢往往只是结果,真正的瓶颈通常在下游。常见瓶颈分六类。Source 反压只是被传导回来,要继续往下游找。其余五类各有病根:UDF 太重、Key 倾斜、窗口状态膨胀、外部写不动、Barrier 被堵。怎么定位?看 Web UI 里,哪个算子 Busy 最高。Sink 高,查外部写入吞吐;KeyBy 之后高,查数据倾斜。Process 高,查 UDF 和 CPU;Window 高,查状态大小和窗口。

原理 ③ · 拖累延迟和 Checkpoint

第三,反压还会拖累延迟和 Checkpoint。数据在队列里一等就是很久,端到端延迟跟着升高。Checkpoint Barrier 也在数据流里排队,对齐时间被拉长。严重时 Checkpoint 超时失败,故障恢复的成本也变高。

补充 · Web UI 怎么看反压

补充两个概念。第一,Web UI 怎么看反压?看三个指标。Busy 高,说明算子自己忙;BackPressure 高,说明它被下游堵住。Idle 高,说明它没数据可处理,或者上游供不上。排查时从 Sink 往上游看,第一个 Busy 高、下游又写不动的点,通常就是瓶颈。

补充 · 反压和数据倾斜

第二,反压和数据倾斜。倾斜会让少数并行子任务特别忙。它们处理不过来,就对上游形成局部反压。表现是:同一个算子里,有的 Subtask Busy 很高,有的很低。解法不是盲目加资源,而是先让 Key 分布均匀。

完整决策树

串成一棵决策树。吞吐下降或延迟升高,先看 Web UI 的反压指标。BackPressure 不高,就去看 Source 速率、外部输入和资源。高,就找 Busy 最高的算子,按四类瓶颈对症处理。处理完回头确认:吞吐、延迟和 Checkpoint 都恢复了。

高频追问

四个高频追问。一:反压一定不好吗?不一定。它本身是保护机制:让上游放慢,而不是无限缓存,把内存打爆。短时反压,可能只是流量突增或外部抖动;长期严重反压,才说明处理能力跟不上。二:Checkpoint 为什么受影响?Barrier 和普通数据一样,沿数据流传播。链路一堵,Barrier 就排队;Exactly-Once 下对齐变慢,Checkpoint 被拉长甚至超时。看到 Checkpoint Duration、Alignment Time 升高,要联动看反压。三:加并行度能解决反压吗?CPU 计算瓶颈、无状态算子,通常有效。但瓶颈是单库写入、热点 Key、下游限流时,加并行度可能没用,甚至给外部加压。四:怎么区分上游没数据和被下游反压?上游没数据:Idle 高,BackPressure 不一定高。被下游反压:Busy 不高,BackPressure 却很高,想输出却输出不去。再结合 Source lag、消费速率和 Sink 写入耗时,就能判断。

面试回答模板

最后,面试回答模板,三句话。原理:有限缓冲区被占满,压力从瓶颈逆流传导,最终 Source 变慢。排查:看三个指标,沿链路找到第一个真正 Busy 高的算子。优化:对症下药,先定位瓶颈,再决定批量写、拆热点还是加并行度。

看完去做题