反压一来Checkpoint就超时
凌晨告警:Flink 作业一反压,Checkpoint 就连续超时,作业反复重启。第 12 期讲过,反压会拖慢 Checkpoint。今天往下挖一层:Barrier 对齐。面试官问:Barrier 对齐和非对齐 Checkpoint,有什么区别?只答「对齐要等 Barrier,非对齐不用等」,远远不够。他想听:Barrier 到底在等什么?为什么对齐能保证一致?非对齐为什么能缓解反压?代价是什么?什么时候该开?
一句话回答:对齐,是多输入算子等所有通道的 Barrier 都到齐,再做快照。快照里主要是算子状态。非对齐不长时间等,把通道里正在飞的数据也存进快照。用更大的快照,换更稳定的 Checkpoint 时间。
Checkpoint 的整体流程,第 5 期讲过,这里只看 Barrier。触发 Checkpoint 时,Source 记下 offset,往数据流里插入一个特殊标记:Barrier。它不参与计算,只是一条分界线:前面的数据属于 N 之前,后面的属于 N 之后。下游算子看到 Barrier,就知道该保存状态了。
麻烦在多输入算子。比如一个 Join,上游是订单流和支付流。订单流的 Barrier N 先到了,支付流的还在路上。这时直接快照,会包含订单流 N 之后的数据,却缺了支付流 N 之前的数据。所以对齐的做法是:先到 Barrier 的通道,暂停,并缓存它后面的数据。其他通道继续处理,等所有 Barrier N 都到齐,再统一保存状态。对齐不是为了慢一点,而是让所有输入停在同一条边界上。
非对齐的思路更直接:反压时 Barrier 可能在队列里堵很久,那就不等了。Barrier 直接越过缓冲区里排队的数据,算子立刻做快照。同时把输入、输出缓冲区里还没处理的在途数据,一起存进快照。恢复时,先还原算子状态,再按原顺序重放这些通道数据。就像关账时不等顾客结完,把收银台和队列里的小票,一起装进档案袋。
为什么这么设计?原因一:对齐的本质,是一致切分。不对齐就快照:订单流已经越过 Barrier,支付流还停在前面。Join 状态里就多了一部分订单,少了一部分支付。恢复后数据重放,就可能重复匹配,或者漏匹配。对齐后两路都停在 Barrier N,恢复点一致。关键词不是等待,而是一致。
原因二:反压会把对齐时间拉长。正常链路,对齐很快,问题不大。可一旦 Sink 写 MySQL 很慢,链路开始堆积,Barrier 也跟着数据排队。一个通道的 Barrier 已经到了,另一个却卡在一大堆数据后面,算子只能干等。在 Flink UI 里,就是 Alignment Time 变长,Checkpoint 耗时变长,甚至超时失败。很多 Checkpoint 失败,不是状态太大,而是 Barrier 走不到该去的地方。
原因三:非对齐,用快照大小换时间稳定性。好处是反压严重时,Checkpoint 不会被对齐拖死,完成时间更稳。代价是快照变大:反压时堆了 10 GB 在途数据,这 10 GB 也可能进快照。对比来看:对齐快照小、恢复直接,怕的是对齐太久。非对齐不怕慢通道,但存储 IO 和恢复时间都会涨。两者都能做到 Exactly-Once。所以非对齐不是更高级的 Checkpoint,而是拿空间和恢复成本,换反压下的成功率。
原因四:非对齐不是反压优化本身,这一点很加分。它缓解的是对齐太慢,不是反压。Sink 写不动、热点 Key、外部吞吐不足,都还在。它更像兜底:让作业在反压下也能完成 Checkpoint,不至于连续失败重启。长期看,还是要定位瓶颈。
原因五:开不开,看指标。没有明显反压时,对齐更常见。快照小,恢复清爽,排查也直观。长期反压、Alignment Time 很高,甚至超时,再考虑打开非对齐。也可以设置 aligned checkpoint timeout:先尝试对齐,超过 30 秒再转成非对齐。别只改一个参数,间隔、超时、状态后端、存储 IO 和反压指标,要一起看。
补充两个概念。一:Channel State,保存的就是路上的数据。也就是输入、输出通道里,已经产生、还没处理完的数据。对齐不用存它:边界前的数据已经处理完,边界后的还没进快照。二:aligned timeout 是折中。偶尔反压的作业,一直对齐会超时,一直非对齐快照又大。那就先走普通通道,排队太久,再打开备用通道。
串成决策树:Checkpoint 变慢,先看 Alignment Time 高不高。不高,就查状态大小和上传耗时,优化状态和存储 IO,别先开非对齐。高但没有反压,查 Barrier 传播;有反压,考虑非对齐或 aligned timeout。快照大小能接受,就开启观察;不能接受,优先治理反压。
五个高频追问。一:非对齐还需要 Barrier 吗?需要,只是不再长时间等对齐。二:会破坏 Exactly-Once 吗?不会,Sink 配合时照样成立。对齐靠等待保证边界一致,非对齐靠保存通道数据保证恢复一致。三:开了非对齐,反压就解决了吗?没有。作业不再频繁超时重启,但反压指标照样高。四:和增量 Checkpoint 是一回事吗?不是。增量减少状态上传量,非对齐解决反压下的边界推进。五:怎么判断该不该开?看 Alignment Time 是否占大头。慢在状态上传,开了反而让快照更大。
最后,面试回答模板,三句话。对齐:等所有 Barrier 到齐再快照,边界一致、快照小,但反压时容易超时。非对齐:把在途数据存成 Channel State,时间稳定,代价是快照大、恢复慢。选型:正常链路用对齐,对齐慢再开非对齐,反压的瓶颈还要另治。