Iceberg 一次写入和 Commit 的完整流程是什么
这道题考什么
面试官问 Iceberg 写入流程时,很多人会回答:“先写 Parquet,再生成 Snapshot。”这句话方向没错,但少了真正决定正确性的 Commit 阶段。
Iceberg 写入不是把文件放进 data 目录就结束,而是先生成不可变的数据与元数据文件,最后由 Catalog 原子切换当前 metadata.json 指针。只有这次原子切换成功,新文件才正式属于表。
一句话回答
Iceberg 写入通常先由分布式 Task 生成 Data File 或 Delete File,再汇总文件信息写入 Manifest、Manifest List 和新 Snapshot,生成新的 metadata.json,最后通过 Catalog 的 Compare-And-Swap 或等价原子操作把表指针从旧元数据切到新元数据;指针切换成功才算 Commit 成功。