Flink 的 Exactly-Once

挂了重启会不会重复?

章节

  • 0:00 开场
  • 0:24 一句话回答
  • 0:42 概念 · 三种语义
  • 1:26 难点 · 三个环节
  • 1:54 第一层 · Source 端
  • 2:48 第二层 · 引擎内部
  • 4:38 第三层 · Sink 端
  • 5:57 三层全景
  • 6:18 进阶 · Unaligned Checkpoint
  • 7:00 关键配置
  • 7:28 高频追问
  • 9:21 面试回答模板

文稿

开场

面试官问你:Flink 的 Exactly-Once,是怎么实现的?你脱口而出:靠 Checkpoint。面试官追问:Source 端、引擎内部、Sink 端,分别怎么保证不丢不重?三层又怎么协作?这是 Flink 必问的压轴题,能讲清这条链的人不多。今天用动画,一次讲透。

一句话回答

先给一句话答案:Exactly-Once 靠三层保障。Source 端,Checkpoint 保存 offset,可回溯;引擎内部,Barrier 对齐,保证状态一致;Sink 端,两阶段提交,保证不重复输出。缺一层都不行。

概念 · 三种语义

先搞清楚什么是 Exactly-Once。数据可能因为故障被重新处理,按保证程度分三级。At-Most-Once,最多处理一次,故障后不重试,数据可能丢;At-Least-Once,至少处理一次,重试可能重复处理,数据可能重复;Exactly-Once,精确处理一次,不丢不重,也最难实现。就像给朋友转账 100 块:可能没到账,是丢了;到账两次,是多转了;精确到账一次,不多不少。很多人以为它是每条数据只处理一次。其实不是,故障恢复时,数据一定会被重新处理。它真正的含义是:即使数据被重复处理,最终结果也和只处理一次一样。

难点 · 三个环节

为什么这么难?流处理任务有三个环节:Source 读数据,引擎计算,Sink 输出。任何一环出问题,承诺都会被打破。问题一:故障恢复后,Source 从哪里重新读?问题二:引擎的计算状态怎么恢复?问题三:Sink 会不会重复写入?三个都解决,才是端到端 Exactly-Once;只解决一两个,数据还是可能丢或重。

第一层 · Source 端

第一层,Source 端:Checkpoint 保存 offset,故障后精确回溯。以 Kafka Source 为例。Flink 消费时,会记录每个 Topic-Partition 的 offset。它不提交给 Kafka 的 Consumer Group,那样不可靠,而是作为算子状态,纳入 Checkpoint 一起持久化。比如消费到 offset 500 时触发 Checkpoint N,就把 500 存下来。故障恢复时,从最近一次成功的 Checkpoint 读出 500,从这里重新消费,重新处理 501 到 999。不是从头消费,也不是从最新位置,而是精确回到故障前的位置。关键配置:enable.auto.commit 设为 false,禁止 Kafka 自动提交,offset 完全交给 Checkpoint。就像看书夹书签:书掉地上,捡起来翻到书签那页继续看,不漏看,也不从第一页重看。

第二层 · 引擎内部

第二层,引擎内部:Barrier 对齐加分布式快照。这是核心机制,基于 Chandy-Lamport 算法。JobManager 定期,比如每 60 秒,向所有 Source 算子注入一个特殊标记:Barrier,屏障。Barrier 随数据流向下游传播,像一道分水岭,把数据流切成一段一段。Barrier 之前的数据属于 Checkpoint N,之后的属于 Checkpoint N+1。什么是 Barrier 对齐?算子有多个上游时,比如两路数据 JOIN,要等所有上游的 Barrier 到齐,才做快照。不对齐的话,快照里可能是这个上游处理到第 100 条,那个处理到第 200 条,状态不一致,恢复后出错。第一步:Source 1 的 Barrier 先到,缓存它后续的数据,继续处理 Source 2 的数据;第二步:Source 2 的 Barrier 也到了,全部对齐,做状态快照;第三步:快照完成,Barrier 继续向下游传播。快照里是窗口聚合中间结果、计数器这类状态,持久化到 State Backend,通常是 RocksDB 加 HDFS 或 S3。恢复时,Flink 从最近一次成功的 Checkpoint,恢复所有算子的状态。Barrier 对齐保证了所有状态对应同一逻辑时刻,所以恢复后是一致的。完整流程:JobManager 注入 Barrier;Source 保存 offset;各算子等待对齐、保存状态;Sink 预提交,向 JobManager 报告完成;JobManager 确认成功,再通知 Sink 正式提交。就像多人网游存档:存档信号传到每个玩家,大家暂停、保存状态,所有人存完,存档才有效。回档时,所有人回到同一个存档点,游戏状态是一致的。

第三层 · Sink 端

第三层,Sink 端。故障恢复后,Flink 会重新处理一部分数据。如果 Sink 已经把结果写出去,恢复后又写一次,输出就重复了。解决方案是两阶段提交,2PC。第一阶段预提交:Barrier 到达 Sink,数据写入目标系统,但不提交。比如 Kafka 的事务性写入,数据写了,但 Consumer 看不到。第二阶段正式提交:JobManager 确认整个 Checkpoint 成功,通知 Sink 提交,数据这才对下游可见。如果 Checkpoint 失败,比如某个算子快照超时,预提交的数据会被回滚,就像什么都没发生过。但不是所有 Sink 都支持 2PC,不同 Sink 的保证方式不同。Kafka 用 2PC 事务性写入,Consumer 设置 read_committed,只读已提交的数据。MySQL、HBase 靠幂等写入:主键 Upsert,覆盖而不是追加,重复写结果一致。HDFS、S3 先写临时文件,Checkpoint 成功后,重命名为正式文件。Redis 的 SET 命令天然幂等;不支持事务的 Sink,无法保证,只能做到 At-Least-Once。关键理解:Exactly-Once 不是 Flink 单方面能保证的,Sink 必须配合,支持事务或者幂等。

三层全景

三层合起来看:Source 解决从哪重新读,靠 Checkpoint 保存 offset,精确回溯。引擎解决状态怎么恢复,靠 Barrier 对齐加分布式快照;Sink 解决会不会重复写,靠两阶段提交或幂等写入。Barrier 从 Source 一路传到 Sink,把三层串成端到端的 Exactly-Once。

进阶 · Unaligned Checkpoint

不过,传统的 Aligned Checkpoint 有个问题:反压时,Barrier 传播会被阻塞。算子处理不过来,数据堆在缓冲区,Barrier 堵在后面传不下去,Checkpoint 最终超时失败。Flink 1.11 引入了 Unaligned Checkpoint:不等对齐,Barrier 到了立刻做快照,同时把缓冲区里还没处理的数据也存进快照,不受反压影响,Checkpoint 能成功。代价是快照更大,要存状态加缓冲区数据;恢复也稍慢,要重放缓冲区数据。所以正常情况用 Aligned,恢复快;反压严重、Checkpoint 频繁超时,再开 Unaligned。

关键配置

关键配置一览:开启 Checkpoint,间隔 60 秒,模式设为 EXACTLY_ONCE。两次 Checkpoint 最小间隔 30 秒,防止太频繁;超时 10 分钟;同时进行的 Checkpoint 最多 1 个。反压场景,再打开 Unaligned Checkpoint。Kafka Source 配置起始 offset,从 Checkpoint 恢复时,用保存的 offset。Kafka Sink 把投递保证设为 EXACTLY_ONCE,再配上事务 ID 前缀,走事务性写入。

高频追问

再看四个高频追问。一:Checkpoint 和 Savepoint 有什么区别?Checkpoint 由 Flink 自动定期触发,用于故障恢复,生命周期由 Flink 管,任务正常结束后自动清理。Savepoint 由用户手动触发,用于升级代码、调整并行度、迁移集群这类有计划的运维。它不会被自动清理,是持久化的完整快照。简单说:一个自动存档,一个手动存档。二:Exactly-Once 和 At-Least-Once,性能差多少?主要差在 Barrier 对齐。Exactly-Once 收到第一个 Barrier 后,要缓存后续数据,等所有 Barrier 到齐,这段时间处理暂停;At-Least-Once 不用对齐,Barrier 到了立刻快照,不缓存不等待,延迟更低。实测差距通常 5% 到 15%,大部分业务能接受;只有毫秒级延迟敏感的场景,才用 At-Least-Once 加下游去重。三:State Backend 用哪个?HashMapStateBackend,原来叫 FsStateBackend,状态存在 JVM 堆内存,读写快但受内存限制,适合状态小于几 GB 的场景。RocksDB 把状态存在本地磁盘,支持增量 Checkpoint,适合几十 GB 到 TB 级的大状态。生产推荐 RocksDB:增量 Checkpoint 只存上次以来变化的部分,快得多。四:Checkpoint 间隔设多大?看两点:故障恢复的数据重放量,和 Checkpoint 的开销。间隔越短,恢复要重放的越少,但 IO 和 CPU 开销更大;间隔越长,开销小,但恢复慢。经验值:普通业务 1 到 5 分钟;实时性要求高的,30 秒到 1 分钟;要求不高的,5 到 10 分钟。再配合 minPauseBetweenCheckpoints,防止上一次还没做完,就触发下一次。

面试回答模板

最后,面试回答模板来了。Exactly-Once 靠三层保障协同实现。Source 端:以 Kafka 为例,offset 作为算子状态纳入 Checkpoint,恢复时精确回溯,不丢不漏。引擎内部:JobManager 定期注入 Barrier,算子收到所有上游 Barrier 后快照,对齐保证同一逻辑时刻。Sink 端:2PC 或幂等写入。Kafka 在 Checkpoint 时预提交,成功后正式提交;MySQL、HBase 用主键 Upsert。注意:Sink 不支持事务或幂等,只能做到 At-Least-Once;反压严重,开启 Unaligned Checkpoint 防超时。记住一句话:Exactly-Once 不是数据只处理一次,而是结果和只处理一次一样。

看完去做题