Flink 状态管理

作业一重启,风控就失忆?

章节

  • 0:00 开场
  • 0:32 一句话回答
  • 0:48 痛点一 · 没状态就失忆
  • 1:28 痛点二 · 自己存 HashMap
  • 2:05 痛点三 · 状态越跑越大
  • 2:49 论证一 · 状态是历史上下文
  • 3:59 论证二 · Keyed 与 Operator
  • 4:55 论证三 · Keyed State 结构
  • 5:40 论证四 · State Backend
  • 7:02 论证五 · Checkpoint 与 Savepoint
  • 7:52 论证六 · 状态清理
  • 8:57 延伸一 · Key Group
  • 9:36 延伸二 · Broadcast State
  • 10:08 延伸三 · Exactly-Once
  • 10:34 体系总览
  • 10:46 面试回答模板
  • 11:31 高频追问
  • 12:11 一句话记住

文稿

开场

风控作业重启一次,用户刚失败的两次登录被忘光,第三次撞库直接放行。规则没写错,丢的是状态。面试官顺势就问:Flink 的状态管理,到底是什么?很多人答 Checkpoint,或者答 RocksDB。这就答窄了。Checkpoint 是快照机制,RocksDB 是一种状态后端,都只是状态管理的一环。他想确认:为什么需要状态,按什么维度存,怎么容错,状态大了怎么办,扩缩容时怎么跟着走。

一句话回答

一句话回答:状态管理,是让流式任务有记忆。State API 负责保存历史上下文;State Backend 决定状态存在哪里;Checkpoint 和 Savepoint 保证状态能容错恢复,也能迁移。

痛点一 · 没状态就失忆

先看痛点一:没有状态,流处理只有鱼的记忆。规则是:同一个用户,5 分钟内登录失败 3 次,就发告警。没有状态,每条日志处理完就忘,到第 3 次,也不知道这是第几次。这只能做单条日志过滤,做不了跨事件的判断。有了状态,每个用户存一份失败次数:读 0 写 1,读 1 写 2,读 2 写 3,触发告警。不过规则里还有 5 分钟:只存计数不够,还得记时间,用窗口或定时器,把 5 分钟以前的失败清出去。无状态像天天失忆,有状态像手里多了个小本子。

痛点二 · 自己存 HashMap

痛点二:自己在算子里写个 HashMap 存状态,行不行?短期可以,生产不行。TaskManager 一重启、机器一宕机,内存里的 Map 就没了。并行度一变,归子任务 1 的用户可能要搬到子任务 3,可状态藏在你自己的变量里,Flink 根本不知道怎么搬。换成 Flink 托管的 Keyed State,它会进 Checkpoint 快照,失败后从快照还原。状态不是不能自己存,而是存了以后,容错、扩缩容、快照、恢复都得自己扛。Flink 的状态管理,就是把这些脏活累活接过去。

痛点三 · 状态越跑越大

痛点三:状态会越跑越大。实时任务一跑就是几个月,用户去重、订单累计、窗口聚合、规则匹配,状态都在不断积累。比如实时 UV:100 万还好,1 亿开始变大,10 亿内存可能扛不住。历史用户不清理,状态就一直涨。所以还要回答三个问题。一,按什么粒度存:用户、订单、窗口,还是算子实例?二,放在哪里:JVM 堆内存、RocksDB 和本地磁盘,还是远端存储?三,怎么清理和恢复:TTL、窗口清理、Checkpoint、Savepoint 怎么配?就像仓库,货一多,没有货架、盘点和清仓规则,迟早爆仓。

论证一 · 状态是历史上下文

核心论证一:状态,就是算子处理当前数据时,能访问到的历史上下文。常见场景:实时累计,每个商品到目前为止的交易规模;实时去重,用户今天来过没有;窗口聚合,5 分钟内的订单数值先攒着;规则匹配,是不是先搜索、再加购、最后下单;还有维表关联,保存一份广播规则或维表快照。Flink 用 State API,把状态变成它能感知、能快照、能恢复、能迁移的托管对象。看 ValueState:每个用户存一个累计值。读出当前值,空就当 0,加上这笔订单的数值,再 update 回去。关键是这一句:getRuntimeContext 点 getState。它告诉 Flink,这不是普通 Java 变量,而是托管状态,快照、恢复、扩缩容都要带上它。版本提醒:1.19 起 open 改用 OpenContext 参数;带 Configuration 的写法已废弃,2.0 已删除。运行时,订单流先按用户 keyBy,每个子任务负责一部分用户,各自维护它们的 Keyed State。记住:普通变量你自己管,Flink State,Flink 帮你管。

论证二 · Keyed 与 Operator

核心论证二:状态先分两大类,Keyed State 和 Operator State。Keyed State 最常用,必须在 keyBy 之后使用,每个 key 一份,比如每个用户的累计值、每个订单的处理进度。Operator State 不按 key 切,而是绑定在并行算子实例上。比如 Kafka Source,每个实例记着自己读哪些分区、读到哪个 offset;还有 Sink 里暂存的一批数据。扩缩容时,Keyed State 按 Key Group 重新分配;Operator 的列表状态按规则重分:普通列表均分,Union 列表每个实例都拿全量。访问上,Keyed State 只能碰当前数据所属 key 的状态;Operator State 访问实例自己那份。业务开发最常用 Keyed State;Operator State 多见于 Source、Sink 和特殊算子。Keyed 像每个学生自己的成绩档案,Operator 像每个班主任手里的班级工作记录。

论证三 · Keyed State 结构

核心论证三:Keyed State 不是一种,而是一组结构,很多人只知道 ValueState。ValueState,每个 key 存一个值,比如累计值、上一次访问时间。ListState 存列表,比如最近 N 次行为、待批量发送的数据。MapState 存映射,比如每个用户按商品累计点击次数。ReducingState 每次写入自动做 reduce,适合累加、求最大最小。AggregatingState 输入和输出可以是不同类型,适合平均值这类复杂聚合。要判断 10 分钟内看过哪些商品,用 MapState,商品 ID 映射访问时间,比自己拼大对象清楚。面试补一句:状态结构要跟业务访问方式匹配。

论证四 · State Backend

核心论证四:State Backend 决定状态放在哪、能存多大。State API 管怎么写代码访问状态,Backend 管状态底层放在哪。HashMapStateBackend:状态是 Java 对象,放在 JVM 堆上,访问快,但受 TaskManager 内存限制。状态一大,GC 压力明显,怕 Full GC 和 OOM。什么都不配时,默认就是它。EmbeddedRocksDBStateBackend:状态序列化成字节,存在本地 RocksDB,容量主要受磁盘限制。适合超大状态、长窗口、大 key value。代价是读写都要序列化,还可能读磁盘。官方文档说,它的平均性能比堆内存慢一个数量级;还要关注参数调优和磁盘 IO。快照上,RocksDB 总是异步快照,在 1.20 里还是唯一支持增量 Checkpoint 的后端,要手动开启。注意:后端只管运行时状态。快照写到哪,从 1.13 起归 Checkpoint Storage,通常是远端存储。还有 ForStStateBackend,面向存算分离,状态文件可以放到远端文件系统。但到 2.x 版本的官方文档,它还标着实验阶段。面试提一句即可,别当默认答案。HashMap 像资料摊在桌面,拿得快,但桌面有限;RocksDB 像档案柜,放得多,但每次要开柜找文件。

论证五 · Checkpoint 与 Savepoint

核心论证五:Checkpoint 和 Savepoint,让状态能恢复、能迁移。状态只在运行时,任务一挂还是会丢。Checkpoint 就是给状态做分布式快照。在一个一致的时间点,把 Source 消费位置和各个算子的状态,一起存下来。Barrier 随数据流向下游,算子收到就异步快照,写到远端存储。所有任务都向 JobManager 确认后,这次 Checkpoint 才算完成。任务失败,就从最近一次成功的 Checkpoint 恢复状态,Source 回到对应位置重新消费。Checkpoint 自动周期触发,为故障恢复;Savepoint 手动触发,为改代码、调并行度、升级和回滚。两者的细节区别前面专题讲过。一句话:Checkpoint 是自动安全带,Savepoint 是手动存档点。

论证六 · 状态清理

核心论证六:状态清理,决定任务能不能长期稳定地跑。最容易出问题的地方,不是不会写,而是忘了清理。去重任务从不删:第一天 1000 万用户,一个月 3 亿,半年几十亿。状态越大,Checkpoint 越慢,恢复越慢,最后 OOM,或者 RocksDB 的磁盘 IO 被打满。清理方式一:State TTL,给状态设过期时间,比如 1 天没更新就过期。细节要说准:1.20 的 TTL 只认处理时间;默认在创建和写入时续期,过期值默认不返回。过期也不等于马上释放空间:读到时删除,后台再逐步清,比如 RocksDB 压实时过滤。方式二:窗口清理。时间越过窗口结束加 allowed lateness,窗口状态就被删除;事件时间看的是 Watermark,全局窗口不在这个保证里,要自己安排清理。方式三:业务主动 clear,比如订单生命周期结束,就清掉它的状态。就像冰箱要定期清,半年前的剩菜不能一直放着。

延伸一 · Key Group

延伸一:Key Group,扩缩容时搬 Keyed State 的最小单位。Flink 不是一个 key 一个 key 地搬,而是先把 key 映射到固定数量的 Key Group。Key Group 的数量等于最大并行度;不手动设置时按并行度推算,最少是 128。128 个组,并行度 4 时,每个子任务管 32 个;扩到 8,每一段正好一分为二,每个子任务管 16 个。所以最大并行度要提前定好:并行度不能超过它,作业启动后再改,就得丢掉这个算子的状态。还有,同一个 key 永远落在同一个子任务里,热点 key 靠加并行度拆不开。

延伸二 · Broadcast State

延伸二:Broadcast State,是一种特殊的 Operator State。风控里有两条流:订单流量很大,按用户并行处理;规则流量很小,但每个实例都要拿到最新规则。规则流广播到所有子任务,每个子任务存一份相同的规则状态,再用它判断订单。要注意,只有规则一侧能改广播状态,订单一侧只能读,各实例的副本才能保持一致。关键词:小流广播,大流处理,每个实例一份同样的规则。

延伸三 · Exactly-Once

延伸三:有 Checkpoint,就一定 Exactly-Once 吗?不一定,状态一致只是一半。Checkpoint 保证 Flink 内部状态恢复到一致位置;端到端还要 Source 能回放,比如 Kafka 按 offset 重读,还要 Sink 支持幂等写入或两阶段提交,否则外部系统会被重复写。这条链前面专题讲过。记住:内部一致靠 Checkpoint,端到端靠两头配合。

体系总览

把整套体系串成一张图:为什么需要状态,用什么 API,放在哪里,怎么保证可靠,怎么长期稳定。五个问题都答上,这道题的骨架就搭起来了。

面试回答模板

面试这么答:状态管理,是让流处理任务具备可恢复、可扩缩容的记忆能力。因为去重、累计、窗口聚合、风控规则,都离不开历史上下文。第一层,状态类型:Keyed 按 key 存,Operator 绑定并行实例,Broadcast 适合规则广播。第二层,状态后端:HashMap 快,但受内存限制;RocksDB 扛得住大状态,但有序列化和磁盘 IO 成本。第三层,容错:Checkpoint 给状态和 Source 位置做一致性快照,Savepoint 用于升级、迁移和回滚。最后给实战判断:小状态、低延迟选 HashMap;大状态、长窗口、去重选 RocksDB,再配上 TTL 或 clear。

高频追问

常见追问里,有四个前面已经答过:两类状态的区别,两种后端怎么选,两种快照的区别,Exactly-Once。重点说追问四:状态太大,Checkpoint 变慢,怎么办?先查为什么大。是 key 太多、窗口太长、去重集合没清,还是单个 key 下的 List 或 Map 过大?解决方向有五个:一,设置 TTL 或窗口清理;二,生命周期结束主动 clear;三,用 RocksDB,并开启增量 Checkpoint;四,优化结构,别把超大 List 挂在单个 key 下;五,检查数据倾斜,别让少数 key 的状态远大于其他 key。

一句话记住

最后记住:状态是记忆,后端决定放哪,快照负责恢复,清理决定能跑多久。

看完去做题