Iceberg 一次查询是怎么执行的?Manifest 和文件统计如何裁剪数据
这道题考什么
Iceberg 面试经常会从“它有哪些元数据文件”继续追问:“执行一条带过滤条件的 SQL 时,Iceberg 难道要打开所有 Parquet 文件吗?”
很多人只会背 Metadata -> Manifest List -> Manifest -> Data File,却没有说清楚查询在哪一层确定 Snapshot、在哪一层裁剪 Manifest、怎样利用文件级统计排除 Data File,以及最后为什么仍可能保留 Residual Filter。
一句话回答
Iceberg 查询先通过 Catalog 找到当前表元数据并固定一个 Snapshot,再用 Manifest List 的分区摘要排除无关 Manifest,用 Manifest 中每个 Content File 的分区值和列级 Metrics 排除无关 Data File,最后把保留下来的文件、Delete File 和 Residual Filter 组成 Scan Task,交给 Parquet、ORC 或 Avro 读取器执行。