VIPIceberg

Iceberg Compaction 是什么?为什么要重写 Data File 和 Delete File

先抓住题目的核心考点,再把答案拆成可复述的面试表达。

3 次浏览2026/8/24
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。

题目描述

请回答:Iceberg Compaction 是什么?为什么要重写 Data File 和 Delete File

Iceberg 表刚上线时查询很快,运行几个月后却越来越慢,最常见的原因不是 SQL 突然变差,而是文件形态变差:流式写入产生大量小文件,Merge-on-Read 积累 Delete File,多次提交让 Manifest 变得零散。

面试官问 Compaction,想听的也不只是“小文件合并”。更完整的问题是:Data File、Delete File 和 Manifest 分别为什么要重写?Compaction 会不会改变查询结果?如何设置触发条件,又怎样避免和在线写入冲突?

参考答案

评论

登录 后参与评论

加载中...