Flink 的 Checkpoint 和 Savepoint

改完代码,旧状态对不上了?

章节

  • 0:00 开场
  • 0:29 一句话回答
  • 0:46 概念 ① · Checkpoint 安全带
  • 1:18 概念 ② · Savepoint 手动存档
  • 1:39 区别 ① · 目的不同
  • 2:16 区别 ② · 生命周期不同
  • 2:47 区别 ③ · 恢复触发不同
  • 3:10 区别 ④ · 状态兼容与 uid
  • 3:51 延伸 · 外部化 CK / Stop with Savepoint
  • 4:22 完整决策树
  • 4:52 常见追问
  • 5:48 面试回答模板

文稿

开场

改了几行代码,重新上线 Flink 作业。作业一恢复,旧状态却对不上了。面试官顺势就问:Checkpoint 和 Savepoint,到底有什么区别?很多人只答一句:Checkpoint 自动,Savepoint 手动。没错,但太薄了。面试官想听的,是两者的目的、触发方式、生命周期、恢复场景和状态兼容性。还有,为什么不能拿 Checkpoint 当 Savepoint 随便用。

一句话回答

一句话回答:Checkpoint 是 Flink 自动、周期性触发的故障恢复快照。任务失败后,就靠它自动恢复。Savepoint 是用户手动触发的运维存档点。用来升级版本、迁移集群、调整并行度和人工回滚。

概念 ① · Checkpoint 安全带

先看 Checkpoint,它像系统自动系上的安全带。Flink 周期性地自动触发,比如每 60 秒一次。它保存 Source 消费位置、Keyed State 和 Operator State。还有窗口状态、定时器,以及 Sink 的事务状态。任务一失败,Flink 就从最近一次成功的 Checkpoint 自动恢复,继续运行。它怎么保证 Exactly-Once,见第 5 期;Barrier 对齐,见第 14 期。安全带平时自动保护你,出事故时帮你恢复,但不是让你拿来换车的。

概念 ② · Savepoint 手动存档

再看 Savepoint,它像游戏里你手动点的保存进度。要升级 Flink 版本、改代码、调并行度,或者迁移到另一个集群,先手动打一个 Savepoint。然后停掉旧任务,做完变更,再从这个 Savepoint 启动新任务。就像你知道接下来要换地图、换装备,所以先存一个回得来的点。

区别 ① · 目的不同

核心区别一:目的不同,一个偏故障恢复,一个偏计划运维。Checkpoint 解决的是:任务突然挂了怎么办。它追求自动、频繁、低成本,尽快恢复。所以它要足够轻,反压会把 Checkpoint 拖慢,原因见第 12 期。Savepoint 解决的是:我要主动做变更怎么办。它追求可控、可保留、可迁移,常用在升级和回滚。放进对比卡一看:一个高频自动、Flink 管理;一个低频手动、用户长期保留。面试时先说目的不同,后面的生命周期、清理策略和运维方式,才都说得通。

区别 ② · 生命周期不同

区别二:生命周期不同。Checkpoint 是容错机制的一部分。为了省存储,Flink 通常只保留最近几个,旧的自动清理。任务取消时,Checkpoint 还留不留,要看配置。Savepoint 更像用户资产:路径在哪、保存多久、什么时候删,都得你自己管。Flink 不会把它当临时容错文件,随手清掉。就像手机自动备份会滚动覆盖,而你手动导出的重要文件,删不删,自己心里要有数。

区别 ③ · 恢复触发不同

区别三:恢复的触发方式不同。任务失败时,Flink 按重启策略,自动挑最近一次成功的 Checkpoint 恢复,通常不用人管。Savepoint 恢复,则要你在提交新作业时显式指定路径,新作业加载旧状态再启动。这就是变更前要打 Savepoint 的原因:你需要一个明确、可引用的状态起点。

区别 ④ · 状态兼容与 uid

区别四:Savepoint 对状态命名和兼容性更敏感。从 Savepoint 恢复时,新代码要能对上旧状态。Flink 靠算子的 uid 和状态描述符来找。随便改算子链、删状态、改类型,或者没给算子设稳定的 uid,恢复就可能失败,或者状态对不上。看个反例:风控算子没设 uid,它的 ID 由拓扑自动生成。代码稍微一改,ID 跟着变了,Savepoint 里的旧状态,就找不到对应的算子。生产建议:有状态算子都显式设一个稳定的 uid,比如 user-risk-process。

延伸 · 外部化 CK / Stop with Savepoint

面试官还可能延伸问两个概念。第一个,外部化 Checkpoint。它能在作业取消后保留 Checkpoint 文件,某些场景也能拿来手动恢复。但它的设计目标仍是故障恢复,不等于 Savepoint。升级、迁移、长期保留回滚点,还是用 Savepoint。第二个,Stop with Savepoint。生产升级通常不直接 kill 作业,而是停止并触发 Savepoint。Flink 先把状态存到明确路径,再停任务,新版本从这里恢复,数据口径更稳。

完整决策树

串成决策树:先问,是突发故障,还是计划变更?突发故障,交给 Checkpoint,Flink 按重启策略自动恢复。计划变更:升级代码、改并行度、迁移集群,就打 Savepoint。只想取消后留个恢复点,可以考虑外部化 Checkpoint。从 Savepoint 启动前,确认新旧状态兼容、uid 稳定。不兼容,就调整 uid、状态描述符,或做迁移方案。

常见追问

最后是四个常见追问。一:能不能用 Checkpoint 做版本升级?有时可以从保留的 Checkpoint 恢复,但它的生命周期归系统管。不建议当标准升级方案,Stop with Savepoint 更稳。二:Savepoint 恢复失败,常见原因是什么?最常见是状态对不上:没设 uid、拓扑变了、状态名或类型变了,或者删了旧状态没做兼容。还有并行度或最大并行度设得不合理,Key Group 映射不上。上线前,最好在测试环境拿真实的 Savepoint 演练一遍恢复。三:两者保存的内容一样吗?核心都是状态快照,但格式、生命周期、管理语义和使用目标不同。不用纠结每个字节是否一样,说清楚:Checkpoint 服务自动容错,Savepoint 服务计划运维。四:为什么打了 Savepoint,还要关注 uid?前面的反例就是答案:uid 相当于给状态贴了固定标签。

面试回答模板

面试回答分三层。先说目的:Checkpoint 自动做故障恢复,Savepoint 手动做计划运维。再说生命周期和恢复方式:一个 Flink 管、自动恢复;一个用户管、提交时指定路径。最后给实战建议:故障恢复靠 Checkpoint。上线前打 Savepoint,有状态算子设稳定 uid。

看完去做题