Iceberg 一次查询是怎么执行的?Manifest 和文件统计如何裁剪数据

这道题考什么

Iceberg 面试经常会从“它有哪些元数据文件”继续追问:“执行一条带过滤条件的 SQL 时,Iceberg 难道要打开所有 Parquet 文件吗?”

很多人只会背 Metadata -> Manifest List -> Manifest -> Data File,却没有说清楚查询在哪一层确定 Snapshot、在哪一层裁剪 Manifest、怎样利用文件级统计排除 Data File,以及最后为什么仍可能保留 Residual Filter。

一句话回答

Iceberg 查询先通过 Catalog 找到当前表元数据并固定一个 Snapshot,再用 Manifest List 的分区摘要排除无关 Manifest,用 Manifest 中每个 Content File 的分区值和列级 Metrics 排除无关 Data File,最后把保留下来的文件、Delete File 和 Residual Filter 组成 Scan Task,交给 Parquet、ORC 或 Avro 读取器执行。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目