Flink CDC如何写入Hudi?

这道题考什么

这是实时湖仓面试里最贴近实战的一题。很多人张口就是“Flink CDC 读 binlog,sink 到 Hudi 就完事了”,面试官接着问一句“作业跑了 10 分钟,为什么 Hudi 一条数据都查不到?”“历史数据怎么接?”“Kafka 乱序了怎么办?”,就答不上来了。面试官真正想听的是:接入方式怎么选、全量和增量怎么衔接、RowKind 怎么落成 Hudi 操作、数据什么时候提交、乱序靠什么兜底。本文口径以 Apache Hudi 1.2.1 为准。

一句话回答

Flink CDC 写 Hudi 的本质是“把 changelog 按主键 upsert 进 MOR 表,并用 checkpoint 驱动 Hudi 提交”:选好接入方式(直连 binlog 或 Kafka + CDC Format),全量走增量快照、历史回灌配 index bootstrap,用 ordering.fields 兜住乱序,开启 checkpoint 才会产生完成的 deltacommit,最后把 Compaction 从写任务里拆出去。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目