Iceberg 小 Data File 和小 Manifest 分别怎么治理
这道题考什么
这是 Iceberg 运维面试里很容易混答的一题。很多人看到文件多就统一回答“做 Compaction”,但面试官真正想听的是:小 Data File、小 Manifest 和小 Delete File 分别慢在哪里,又该调用什么维护过程。
一句话回答
小 Data File 是数据层碎片,通常通过控制写入并行度、目标文件大小和写入分布来预防,再用 rewrite_data_files 合并;小 Manifest 是元数据层碎片,通常通过自动 Manifest Merge 预防,再用 rewrite_manifests 重写。两者不能互相替代,Position Delete 文件还要单独治理。