Flink 的窗口机制

天窗口统计,日报为何对不上?

章节

  • 0:00 开场
  • 0:30 一句话回答
  • 0:53 为什么需要窗口
  • 1:23 窗口一 · 滚动窗口
  • 2:00 窗口对齐与 offset
  • 2:49 窗口二 · 滑动窗口
  • 3:31 窗口三 · 会话窗口
  • 4:20 窗口四 · 全局窗口
  • 4:57 四种窗口对比
  • 5:34 时间语义
  • 6:39 触发 · Watermark
  • 7:41 触发 · Trigger
  • 8:27 补充一 · 迟到数据
  • 9:23 补充二 · 窗口函数
  • 9:58 补充三 · Window JOIN
  • 10:41 一棵决策树
  • 11:06 面试回答模板
  • 11:43 追问一 · Watermark 设多大
  • 12:29 追问二 · size/slide 很大
  • 13:04 追问三 · 会话合并
  • 13:36 追问四 · Flink SQL
  • 14:23 回到开头

文稿

开场

Flink 天窗口统计每天的 GMV,日报却总对不上:窗口按 UTC 对齐,北京时间早上 8 点才切一天。可大多数人讲窗口,只会背三个名词:滚动、滑动、会话。面试官一追问就卡住:为什么流处理需要窗口?窗口边界按什么对齐?什么时候触发计算?迟到的数据又去了哪里?这期以 Flink 1.20 的官方文档和源码为准,把窗口机制从头讲清楚。

一句话回答

一句话:窗口的本质,是把无界的流切成有界的块,再对每一块做聚合。四种窗口,对应四种切法。滚动窗口按固定时长切,不重叠;滑动窗口按固定步长滑,可以重叠。会话窗口按活跃间隔切,长度不固定;全局窗口不切,什么时候算由你的触发器决定。

为什么需要窗口

先看为什么需要窗口。假设要统计每分钟的订单 GMV。批处理里很简单:数据有边界,读完全部数据,GROUP BY 分钟,算完就结束。流处理里,订单源源不断,没有结束这个概念。那每分钟的边界在哪?什么时候算一分钟到了?窗口就是人为给无界的流划定边界,切成一段一段,每段独立聚合。就像一条不停的传送带,你没法等它停下再数包裹,只能每隔一段放个挡板,一堆一堆地数。

窗口一 · 滚动窗口

第一种,滚动窗口,最常用。它把时间轴切成等长、不重叠的段。比如窗口大小 1 分钟,就切成第 0 到第 1 分钟、第 1 到第 2 分钟,一段接一段。区间左闭右开,每条数据只属于一个窗口。代码里先按城市 keyBy,再用 TumblingEventTimeWindows 开 1 分钟窗口,最后求和。注意,Time 类从 1.19 起已经废弃,1.20 里窗口大小要用 Duration 来写。适用场景:每分钟 GMV、每小时 PV、每天新增用户,只要是每隔多久统计一次,就用滚动窗口。

窗口对齐与 offset

补一个原稿没讲、却很容易踩坑的点:窗口边界是怎么算出来的。窗口不从任务启动那一刻算,而是对齐到 epoch,也就是 UTC 1970 年 1 月 1 日零点。源码里,窗口起点等于时间戳,减去它对窗口大小取模的余数。所以 1 小时窗口,9点15分启动任务,第一个窗口仍然是 9 点到 10 点。天窗口按 UTC 零点切,换成北京时间就是早上 8 点,这就是开头日报对不上的原因。解法是给分配器传一个 offset,官方文档写明,在中国要传负 8 小时。另外,窗口是懒创建的:第一条数据到了才建,没数据的那一分钟,不会输出一条 0。等时间越过窗口结束时间,再加上允许迟到的时长,窗口状态就会被删除。

窗口二 · 滑动窗口

第二种,滑动窗口。它有两个参数:窗口大小 size,和滑动步长 slide。比如大小 5 分钟、步长 1 分钟,每分钟输出一次过去 5 分钟的 GMV。窗口之间互相重叠,一条数据会同时落进 5 个窗口。代码换成 SlidingEventTimeWindows,先传大小,再传步长。适用场景:实时大盘看最近 5 分钟的趋势,告警系统看最近 10 分钟的错误率。它像考试的移动平均分:不只看这一次,而是看最近 5 次的平均,每考一次往前滑一格。代价是,size 除以 slide 越大,每条数据要进的窗口越多,后面追问专门算这笔账。

窗口三 · 会话窗口

第三种,会话窗口。它没有固定大小,边界由数据之间的活跃间隔 gap 决定。两条数据的间隔超过 gap,上一个会话就结束,新的会话开始。比如 gap 30 秒:用户点击、点击、下单,间隔都不到 30 秒,算一个会话。接着静默 45 秒,超过了 gap,后面的浏览和加购,就是第二个会话。代码用 EventTimeSessionWindows 的 withGap 设 30 秒,再用 process 分析每个会话。gap 也可以不固定,用 withDynamicGap 按每条数据动态计算。适用场景:用户访问时长、页面深度、客服对话分轮,任何按活跃度自然分段的需求。它像微信聊天记录:隔了很久再聊,中间会自动加一条时间分割线,gap 就是这条线的阈值。

窗口四 · 全局窗口

第四种,全局窗口。同一个 Key 的所有数据,都放进同一个窗口。它的默认触发器是 NeverTrigger,永远不会自动触发,必须自己指定 Trigger。原稿的例子是:全局窗口,加 CountTrigger 100,再求和。这里要纠正一点:CountTrigger 只触发、不清空,第二次输出的是累计 200 条的和。想每 100 条单独算一次,要用 countWindow 100,它内部包了一层 PurgingTrigger,触发后清空窗口。适用场景:不按时间切,而是按条数或自定义条件触发,比如某个指标超过阈值就告警。

四种窗口对比

四种窗口,放进一张表对比。大小:滚动和滑动固定,会话由 gap 决定,全局无限大。重叠和归属:只有滑动窗口重叠,一条数据属于多个窗口;全局窗口所有数据都在一个窗口里。触发:滚动、滑动到点自动触发,会话在 gap 超时后触发,全局必须自定义 Trigger。开销:滚动低,滑动因为数据重复较高,会话中等,全局看 Trigger;使用频率滚动最高。典型场景:每分钟 GMV、最近 5 分钟趋势、用户会话分析、按条数触发。

时间语义

再看时间语义:同一条数据,用不同的时间分窗口,结果可能完全不同。原稿说 Flink 支持三种时间语义,这里要纠正:1.20 文档只讲事件时间和处理时间两种。1.12 起时间特性开关被废弃,摄入时间要用,得自己配 Watermark 策略。用哪种时间,由窗口分配器决定,比如 TumblingEventTimeWindows 和 TumblingProcessingTimeWindows。处理时间用 Flink 机器的系统时钟,简单,但网络慢上几秒,数据就进错窗口。事件时间用数据自带的时间戳,比如订单的支付时间,不管什么时候到,都按真正发生的时间算。举个例子:订单 A 10点00分58秒下单,10点01分02秒才到 Flink。按处理时间,它进了 10点01分的窗口;按事件时间,它留在 10点00分的窗口。加分点:生产一般用事件时间。处理时间不可重放,同一批数据跑两次,结果可能不同。事件时间结果确定,代价是要处理乱序和迟到,这就要靠 Watermark。

触发 · Watermark

触发机制是窗口里最难、也最常考的部分:Watermark 加 Trigger。数据会乱序到达,10点00分到01分的窗口,怎么知道数据到齐了?其实不知道。Watermark 是一个信号:Watermark T 表示,时间戳不大于 T 的数据,我认为都到了。它怎么生成,前面专题讲过,这里只看它怎么触发窗口。常用的有界乱序策略:Watermark 等于已见的最大事件时间,减去乱序容忍,再减 1 毫秒。它不是每条数据都发,默认每 200 毫秒周期性地发一次。允许乱序 5 秒,35 秒、50 秒、55 秒的数据先后进入窗口,Watermark 还没到。10点01分05秒的数据一来,Watermark 推到 10点00分59秒999。窗口的最大时间戳正是结束时间减 1 毫秒,Watermark 达到它,窗口触发,输出这一分钟的结果。代码上,用 forBoundedOutOfOrderness 设 5 秒乱序,再指定支付时间当事件时间。

触发 · Trigger

Trigger 是窗口的扳机,决定窗口什么时候计算并输出。事件时间窗口默认用 EventTimeTrigger,处理时间窗口默认用 ProcessingTimeTrigger。CountTrigger 按条数触发,ContinuousEventTimeTrigger 在大窗口中途定期输出进度,也可以自定义。注意,调用 trigger 会替换默认触发器。给时间窗口配 CountTrigger,它就不再按时间触发了。每次判断返回四种结果之一:继续等待、触发计算、清空窗口、触发并清空。内置触发器默认只触发、不清空,所以全局窗口加 CountTrigger,才会越算越累计。还有可选的 Evictor,能在计算前后剔除元素,但用了它就无法预聚合,状态会大很多。

补充一 · 迟到数据

补充一:迟到数据怎么处理。Watermark 只是尽力而为的估计,总有数据迟到得超过预期。允许迟到时长默认是 0,Watermark 越过窗口末尾之后才到的数据,直接丢弃。第一层兜底是 Allowed Lateness:窗口触发后先不销毁,再等一段时间。这段时间里到的迟到数据仍然进窗口,并且会让窗口重新计算一次。所以同一个窗口会输出多次,下游必须按窗口更新结果,不能简单累加。窗口多留这段时间,就要多存这段状态,状态怎么管,前面专题讲过。第二层是 Side Output:超过允许迟到时长的数据也不丢,写到侧输出流,由你决定怎么处理。代码里 allowedLateness 设 5 分钟,更晚的数据用 sideOutputLateData 收进侧输出流。判断流程就三步:没过 Watermark 正常进窗口;在允许迟到内,进窗口并重算;再晚就去侧输出流。

补充二 · 窗口函数

补充二:窗口函数。窗口触发计算时,有两种执行方式。增量聚合用 ReduceFunction 或 AggregateFunction,每来一条就更新中间结果,只存一个累加值。它适合求和、计数、最大值、平均值。全量聚合用 ProcessWindowFunction,数据攒齐了一次算,占内存大,适合排序和 Top N。最佳实践是两者结合:aggregate 里传两个函数,先增量累加。触发时,ProcessWindowFunction 只拿到那一个结果,再加上窗口的开始和结束时间输出。

补充三 · Window JOIN

补充三:Window JOIN,让两条流在同一个时间窗口里做关联。比如订单流和支付流,按订单 ID 关联,开 2 分钟滚动窗口。只有落在同一个窗口里、Key 又相同的数据,才能配上。它的语义类似 inner join:窗口里只有订单、没有支付,就什么都不输出。还有一个边界问题:1分59秒的订单和 2分01秒的支付,只差两秒,却落在两个窗口,配不上。这种按时间差关联的需求,可以考虑 Interval Join,按前后各多长时间去匹配。适用场景:订单和支付关联、点击和曝光归因,关键是两条流的数据在时间上接近。

一棵决策树

整个选型,收成一棵决策树。先问:按什么维度切?按固定时间段:不需要重叠用滚动窗口,要看趋势用滑动窗口。按用户活跃度用会话窗口,按条数或自定义条件,用全局窗口加 Trigger。再问用什么时间:要准确、可重放,用事件时间加 Watermark;对延迟敏感、精度要求低,用处理时间。

面试回答模板

面试被问 Flink 窗口机制,可以按这个模板答。先说本质:把无界的流切成有界的块做聚合,四种窗口各管一种切法。再说时间:生产用事件时间,Watermark 告诉窗口数据到齐,可以触发了。然后讲迟到三层:Watermark 内正常算,允许迟到内重算,再晚走侧输出流,不丢数据。最后讲窗口函数:增量聚合省内存,ProcessWindowFunction 拿窗口元信息,两者结合。能主动补一句:窗口按 epoch 对齐,按天开窗要设 offset,就是明显的加分项。

追问一 · Watermark 设多大

追问一:Watermark 的乱序容忍,设大了、设小了,分别有什么问题?这是延迟和准确性的权衡。设太小,比如 1 秒,晚到 3 秒的数据就成了迟到数据。要么被允许迟到兜住、反复重算,要么进侧输出流,结果频繁更新,甚至漏数。设太大,比如 5 分钟,窗口要多等 5 分钟才触发,实时大盘 5 分钟才更新一次。生产上看数据实际的乱序程度:先测迟到的 P99,也就是 99% 的数据迟到不超过多久。原稿这里把 P99 写成了 95%,两个数对不上,统一按 99% 理解。比如 P99 是 3 秒,乱序容忍就设 3 到 5 秒,再用允许迟到兜底极端情况。

追问二 · size/slide 很大

追问二:滑动窗口 size 除以 slide 很大,会怎样?1 小时窗口、1 秒滑动,一条数据属于 3600 个窗口。用全量函数,每条数据要存 3600 份;就算用增量聚合,每条数据也要更新 3600 个累加器。结果就是内存暴涨,计算延迟变高。解法一:拉大 slide,改成 1 分钟滑动,窗口数就只剩 60 个。解法二:先用 1 分钟滚动窗口预聚合,每条只更新 1 个累加器,下游再把 60 个结果合成最近 1 小时。

追问三 · 会话合并

追问三:会话窗口的 gap 是怎么合并的?每来一条数据,Flink 先给它建一个临时小窗口,从事件时间到事件时间加 gap。再看它和已有窗口有没有重叠,有就合并成一个更大的窗口。所以会话窗口是边来数据边合并,窗口的大小和数量都在动态变化。一条迟到数据,还可能刚好落在两个会话中间,把它们桥接成一个。它要维护一个可合并的窗口集合,Trigger 和窗口函数也必须支持合并,所以状态开销比其他窗口大。

追问四 · Flink SQL

追问四:Flink SQL 里,窗口怎么写?1.13 开始有窗口表值函数,也就是 TVF。滚动窗口用 TUMBLE,传表、时间列和间隔。再按城市、window_start、window_end 分组求和,就是每分钟每个城市的 GMV。滑动窗口用 HOP,注意参数顺序:先写步长 1 分钟,再写大小 5 分钟。会话窗口用 SESSION,1.19 起支持流模式。按用户分会话,要在表后面写 PARTITION BY user_id。原稿只在 GROUP BY 里写了 user_id,不写 PARTITION BY,所有用户的数据会混在一起切会话。1.20 文档里,旧的分组窗口语法标为废弃。TVF 还能和 JOIN、Top N 组合,写得出就是加分项。

回到开头

回到开头:天窗口按 UTC 对齐,北京时间要传负 8 小时的 offset,日报才能对上。整套机制一条主线:分配器决定数据进哪个窗口,Watermark 推进时间。Trigger 决定什么时候输出,迟到的数据,靠允许迟到和侧输出流两层兜底。

看完去做题