窗口到底什么时候关?
面试官问你:Flink 的 Watermark,解决了什么问题?你脱口而出:处理乱序数据。面试官追问:乱序为什么会让窗口不知道什么时候关?迟到的数据又怎么办?大部分人就卡在这里。今天用动画,把这道 Flink 必考题讲透。
先给一句话答案:Watermark 解决的是 Event Time 窗口,什么时候触发的问题。它表示:早于这个事件时间的数据,系统认为基本到齐了。窗口结束时间小于等于它,就触发计算。本质上,是在准确性和延迟之间做平衡。
先看痛点。没有 Watermark,Event Time 窗口很尴尬。第一:数据会乱序到达。订单 A 在 10 点 0 分 5 秒发生,6 秒就到了。订单 B 在 3 秒发生,比 A 更早,却因为网络延迟,10 秒才到。它属于前面的窗口,如果按到达顺序处理,B 就会被算错。就像收卷:有同学堵车晚交,老师不能无限等,也不能铃一响就不收,得定个规矩:最多等 5 分钟。
第二:窗口不知道什么时候可以关账。比如窗口是 10 点整到 10 点 01 分。系统时钟到了 01 分,不代表 0 分 59 秒发生的数据都到了。可窗口也不能永远等,延迟没法接受。所以窗口不能只按系统时间触发。Watermark,就是给窗口的触发依据。
Watermark 怎么工作?第一:它是事件时间进度的估计。常见写法:Watermark 等于当前最大事件时间,减去最大乱序容忍时间。比如最大事件时间是 10 点 01 分 10 秒,允许乱序 5 秒,Watermark 就是 01 分 05 秒。意思是:系统认为,01 分 05 秒之前的数据,基本都到了。代码里,forBoundedOutOfOrderness 传 5 秒,withTimestampAssigner 指定支付时间作事件时间。
第二:窗口结束时间小于等于 Watermark,就触发。Watermark 到 0 分 50 秒,还不能触发;推进到 01 分或更大,窗口立刻输出结果。
第三:Watermark 是准确性和延迟的取舍。等得越久,迟到数据越容易算进来,结果更准,但输出更慢;等得越短,输出更快,但迟到数据更容易被丢进迟到处理逻辑。允许乱序 1 秒,延迟低但容易漏,适合监控告警;5 秒较平衡,适合实时大屏;1 分钟更准但更慢,适合账务报表。过于激进,看着实时但结果不准,别用于核心指标;过于保守,延迟高、状态保留久。Kafka 多分区时,可以按 Source 分区生成,更贴近数据源进度,但要处理空闲分区。
面试官可能延伸问:迟到数据怎么处理?Watermark 还没超过窗口结束时间就到了,正常进入窗口;超过以后才到,才算迟到。allowedLateness 可以让窗口再保留一段时间,这期间到达,就更新窗口结果。比这还晚的,输出到侧输出流,或者丢弃。
生产上还有个坑:空闲分区会拖住 Watermark。多分区的 Kafka Source,Watermark 通常取各分区最小值。某个分区长期没数据,整个任务都被卡住。解决办法:配置 idle timeout,让空闲分区不再拖住整体进度。
串成决策链:用 Event Time 窗口,数据乱序就配 Watermark,不乱序也可以配个较小的。看重低延迟,乱序容忍设小;看重准确,容忍设大,多等迟到数据。迟到数据,交给 allowedLateness、侧输出流和补偿修正兜底。
再来看四个高频追问。一:Watermark 等于当前时间吗?不是。Processing Time 看系统时钟,Watermark 看数据里的事件时间。系统已经 10 点 05 分,数据最大事件时间才到 01 分,Watermark 也只在 01 分附近。二:为什么多个上游取最小值?一个推进到 05 分,一个才到 01 分,慢的那个可能还有 02 分的数据没来。三:设多大合适?先统计 Kafka 延迟、客户端上报延迟,看 P99、P999 乱序时间。99% 的数据 5 秒内到,就设 5 秒左右,极端迟到交给侧输出流。太小会漏算,太大延迟高、状态压力大。四:迟到数据一定会丢吗?不一定。没超过窗口结束不算迟到;在允许迟到范围内,还能更新结果;再晚的进侧输出流,做补偿或离线修正。丢不丢,取决于业务设计。
最后,面试回答模板来了。数据会乱序、迟到,系统时间到了不代表数据齐了,窗口又不能永远等,所以要靠 Watermark 决定何时触发。它等于最大事件时间减去允许乱序时间,大于等于窗口结束时间,窗口就触发。推进快,延迟低但迟到多;推进慢,更完整但更慢、状态保留久。迟到数据交给 allowedLateness 或侧输出流。记住一句话:Watermark 不看系统时钟,只看数据走到了哪儿。