Iceberg 一次写入和 Commit 的完整流程是什么

这道题考什么

面试官问 Iceberg 写入流程时,很多人会回答:“先写 Parquet,再生成 Snapshot。”这句话方向没错,但少了真正决定正确性的 Commit 阶段。

Iceberg 写入不是把文件放进 data 目录就结束,而是先生成不可变的数据与元数据文件,最后由 Catalog 原子切换当前 metadata.json 指针。只有这次原子切换成功,新文件才正式属于表。

一句话回答

Iceberg 写入通常先由分布式 Task 生成 Data File 或 Delete File,再汇总文件信息写入 Manifest、Manifest List 和新 Snapshot,生成新的 metadata.json,最后通过 Catalog 的 Compare-And-Swap 或等价原子操作把表指针从旧元数据切到新元数据;指针切换成功才算 Commit 成功。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目