36 道Flink面试题。
批处理处理有边界的大批数据,流处理处理无边界的连续数据,微批处理把连续数据切成很多小批次处理;选型时先看延迟要求,再看数据规模、准确性、成本和开发复杂度。…
JobManager 是 Flink 作业的大脑,负责接收作业、调度 Task、协调 Checkpoint 和故障恢复;TaskManager 是 Flink 作业的工人,负责提供 Slot、执行 Task、管理本地状态和网络数据交换。…
Parallelism 决定一个算子会拆成多少个并行子任务,Slot 是 TaskManager 提供的资源分配单位;一个 Job 运行所需 Slot 数通常接近最大并行度,但因为 Slot Sharing,同一个并行链路里的多个算子子任务…
Flink 流批统一的核心是 一切数据都抽象成流:实时数据是没有终点的无界流,离线数据是有终点的有界流;引擎层用同一套 Runtime、算子链、状态管理和容错机制执行,只是在调度、Shuffle、算子策略上针对有界数据做批优化。…
Flink 任务生命周期可以概括为:客户端生成 StreamGraph/JobGraph 并提交,JobManager 接收后生成 ExecutionGraph,向 ResourceManager 申请资源,把 Task 调度到 TaskM…
StreamGraph 描述算子级的数据流,JobGraph 通过算子链把它压缩成可提交的 JobVertex,ExecutionGraph 再按并行度展开成可调度的 ExecutionVertex;物理执行图通常就是 ExecutionG…
Event Time 是数据真实发生的时间,结果最准确也可重放;Processing Time 是 Flink 机器处理数据的时间,延迟低但结果受网络和机器影响;Ingestion Time 是数据进入 Flink Source 的时间,介…
Flink Watermark 生成策略常见有三类:有序流策略、固定乱序容忍策略、自定义策略;生产上最常用的是基于事件时间字段的 bounded out-of-orderness,并结合 Kafka 分区级 Watermark 和 idle…
事件时间下处理乱序的核心是:先从数据中提取真实事件时间,再用 Watermark 表示事件时间进度,给窗口保留一段乱序等待时间;在 Watermark 之前到达的数据正常计算,Watermark 之后到达的数据按迟到数据处理。…
乱序描述的是事件到达顺序与事件发生顺序不一致,是数据流的客观到达特征;迟到描述的是事件到达时,系统的事件时间进度是否已经越过它所属窗口的处理边界,是相对于 Watermark、窗口结束时间等规则做出的判断。 因此: 乱序数据不一定迟到,只要…
Flink 下游算子的有效 Watermark 通常取所有活跃输入通道 Watermark 的最小值;某个 Source 分区长时间没有事件,就没有新的事件时间信息来推进自己的 Watermark,旧值会拖住整体进度。可以通过 Waterm…
Watermark 解决的是 Event Time 场景下窗口何时触发的问题:它表示“系统认为早于某个事件时间的数据基本都到了”,窗口结束时间小于等于 Watermark 时就可以触发计算,从而在准确性和延迟之间做平衡。…
窗口的本质是把无界的流数据切成有界的块,然后对每个块做聚合计算。四种窗口对应四种切法:滚动窗口按固定时间段切不重叠,滑动窗口按固定步长切可重叠,会话窗口按活跃间隔切长度不固定,全局窗口不切等你自己定义触发条件。…
ProcessWindowFunction 是Flink的全量窗口函数,适合需要访问窗口上下文或窗口内全部元素的场景,比如输出窗口起止时间、窗口TopN、复杂明细逻辑、侧输出;但它可能保存窗口内所有数据,生产上更推荐和 AggregateF…
ReduceFunction 和 AggregateFunction 都是增量窗口聚合函数,区别在于:ReduceFunction 要求输入和输出类型一致,适合简单合并;AggregateFunction 有独立的输入、中间累加器、输出类型…
Flink 窗口是否触发由 Trigger 决定:事件时间窗口通常在 Watermark 超过窗口结束时间时触发,处理时间窗口按系统时间触发;迟到数据可以通过 allowedLateness 允许窗口再次更新,超过允许迟到的数据可以进入侧输…
全局窗口会把同一个 key 的所有数据放进一个无限大的窗口,默认不会自动触发,必须配合 CountTrigger、自定义 Trigger 或 Evictor 使用;它适合按条数、业务信号、阈值条件触发的场景,但状态容易无限增长,生产要特别注…
事件时间窗口的完整流程是:数据进入Source → 提取Event Time → 生成Watermark → keyBy分区 → WindowAssigner分配窗口 → 窗口状态增量更新 → Watermark越过窗口结束时间触发计算 →…
Flink的水位线会像普通事件一样沿着数据流向下游传播,每个算子根据输入Watermark推进自己的事件时间;如果一个算子有多个输入通道,它的有效Watermark通常取所有输入通道的最小值,所以最慢的分区或输入流会拖住下游窗口触发。…
Side Output 是同一个算子额外暴露出来的分流出口,可以把迟到数据、脏数据、异常记录等和主流程分开处理;窗口迟到数据通常用 sideOutputLateData,普通算子里的异常记录用 ctx.output。 它不是重新启动一个作业…
Flink 的状态管理,本质是让流式任务具备记忆能力:通过 State API 保存历史上下文,通过 State Backend 决定状态存在哪里,通过 Checkpoint/Savepoint 保证状态能容错恢复和迁移。…
Broadcast State 适合 小流广播、大流处理 的场景,比如动态风控规则、黑名单、实时配置、维表快照;它会把规则流广播到所有下游并行实例,每个实例保存一份相同的状态,然后用这份状态去处理高吞吐业务流。…
Keyed State 是 keyBy之后按Key隔离的状态,适合用户累计、去重、窗口聚合等业务逻辑;Operator State 是 绑定到并行算子实例的状态,常见于Source offset、Sink缓存、广播状态;Keyed Stat…
State Backend 决定 Flink托管状态在运行时存在哪里、怎么读写、怎么做快照;小状态、低延迟优先 HashMapStateBackend,大状态、海量Key、长窗口优先 EmbeddedRocksDBStateBackend,…
Flink 扩缩容时通常会基于 Checkpoint 或 Savepoint 按新并行度重新部署算子:Keyed State 以 Key Group 为最小单位重新分给新的 SubTask,Operator State 按 Even-spl…
Flink的Exactly-Once靠三层保障:Source端Checkpoint保存offset可回溯、引擎内部Barrier对齐保证状态一致、Sink端两阶段提交保证不重复输出。缺一层都不行。…
Flink状态一致性常见级别有三种:At-Most-Once 可能丢但不重,At-Least-Once 不丢但可能重,Exactly-Once 通过Source可回放、Checkpoint一致快照、Sink事务或幂等,让最终结果等价于每条数…
Checkpoint是将FsImage和EditLog合并生成新FsImage的过程,由Secondary NameNode(非HA模式)或Standby NameNode(HA模式)执行。触发条件有两个(满足任一即触发):时间间隔达到阈值…
Checkpoint 是Flink自动周期性触发的故障恢复快照,目标是任务失败后自动恢复;Savepoint 是用户手动触发的运维存档点,目标是版本升级、迁移集群、调整并行度、人工回滚。…
Flink 2PC 的核心是把Sink写出拆成 预提交 和 正式提交:数据先写入事务但不对外可见,等Checkpoint全局成功后再提交事务;如果Checkpoint失败或任务恢复,则回滚未完成事务,从而避免故障重试导致重复输出。…
Flink 分布式快照基于 Chandy-Lamport 思想,通过 JobManager 向 Source 注入 Checkpoint Barrier,Barrier 随数据流向下游传播;算子收到 Barrier 后对自己的状态做快照,多…
Flink状态恢复流程是:JobManager发现Task失败 → 按重启策略重启作业或局部任务 → 选择最近一次成功Checkpoint/Savepoint → 重新调度Task → 恢复Source进度、Keyed State、Oper…
Barrier 对齐是让多输入算子等到所有输入通道的同一次 Checkpoint Barrier 都到齐后再做快照,快照里主要保存算子状态;非对齐 Checkpoint 不长时间等待 Barrier 对齐,而是把网络通道里正在飞行的数据也保…
Flink 反压的本质是下游算子处理不过来,导致输入队列和网络缓冲区被占满,上游无法继续发送数据,只能放慢速度;它会从瓶颈算子沿数据流方向反向传导,最终让 Source 读取速率下降。…
Flink 数据倾斜就是数据没有均匀分配到各个并行子任务,少数 Subtask 承担了大部分数据或状态,导致 Busy 高、反压、延迟升高、Checkpoint 变慢甚至 OOM;常见解决思路是过滤异常 key、热点 key 拆分、加随机前…
Flink 反压是下游处理不过来导致压力沿数据流反向传导,重点看“哪段链路被堵住”;数据倾斜是数据或状态集中到少数 Subtask,重点看“同一个算子内部是否负载不均”;定位时先看 BackPressure/Busy/Idle 判断瓶颈链路…