32 道Iceberg面试题。
Iceberg 是湖仓架构中的开放表格式和表管理层:对象存储负责保存文件,Spark、Flink、Trino 等引擎负责计算,Catalog 负责定位表,而 Iceberg 用 Snapshot、Manifest 和提交协议定义“当前表由哪…
Iceberg 是面向大规模分析数据集的开放表格式,它不负责执行 SQL,也不替代 Parquet,而是在 Parquet、ORC、Avro 等数据文件之上,用统一元数据管理表的文件集合、快照、Schema、分区规则和并发提交。 Parqu…
当项目需要在对象存储上管理大规模分析表,并且存在事务提交、历史版本、Schema/Partition Evolution、多引擎共享或行级更新需求时,Iceberg 很有价值;如果只是少量只读文件、一次性中间数据、毫秒级 OLTP 点查或团…
Catalog 先把表名定位到当前 metadata.json;表元数据记录 Schema、分区规则和 Snapshot 列表,当前 Snapshot 指向自己的 Manifest List;Manifest List 列出该快照使用的 M…
Iceberg 没有数据库那种会强制校验唯一性的主键约束;Identifier Fields 只是表 Schema 中的一组身份标识字段,用来声明哪些字段共同识别同一个业务实体。 它能为 Upsert、行级更新和引擎优化提供语义,但不会扫描…
Iceberg Catalog 管理 Namespace 和表名,并把表标识解析到当前 Metadata;写入提交时,它还要安全地把旧 Metadata 指针切换到新版本。 Hive Catalog 借助 Hive Metastore,适合…
对象存储保存文件,Iceberg Metadata 定义表,Catalog 保存表的入口并协调提交。 业务数据、Delete File、Manifest、Manifest List 和 metadata.json 通常都在 S3、OSS 或…
V1 定义了基于不可变 Data File、Snapshot 和 Manifest 的分析表;V2 增加 Sequence Number 与行级 Delete File,使更新删除不必总重写原 Data File;V3 进一步增加 Row …
Partition 是粗粒度的数据布局,把数据按分区 Transform 分到不同文件集合;Sort Order 是更细粒度的写入聚集规则,让同一分区内相近键值尽量落到相近文件和行组。 排序可以改善列统计裁剪和压缩,但不保证查询结果顺序;修…
Iceberg Snapshot 是某一时刻表状态的不可变逻辑版本,它通过 Manifest List 描述该版本可见的 Data File 和 Delete File 集合,而不是复制整张表的数据。 每次成功的数据提交都会形成新的表状态,…
Snapshot ID 是某个表快照的唯一标识;Parent ID 指向该快照的直接父快照,用来连接提交血缘;Sequence Number 是成功提交时分配的单调递增序号,用来表达变更先后。 Snapshot ID 只负责“你是谁”,不能…
Time Travel 是只读地选择某个历史 Snapshot 查询,不改变表的当前版本;Rollback 是一次表元数据提交,把 current snapshot 重新指向某个可回退的历史 Snapshot,使普通查询随后看到旧状态。 两…
Iceberg 使用乐观并发控制:每个 Writer 基于某个基准 Snapshot 生成新文件和新元数据,最后由 Catalog 原子更新当前元数据指针;只有一个提交能先成功,失败方刷新最新表状态,重新验证原操作的前提,兼容变更可复用已写…
Iceberg 增量读取利用 Snapshot 的父子关系和 Manifest 中的文件状态,找出两个 Snapshot 之间由 Append 操作新增的数据文件;起始 Snapshot 通常不包含、结束 Snapshot 包含。 它读取的…
Branch 和 Tag 都是指向 Iceberg Snapshot 的命名引用:Branch 的指针可以随着写入继续前进,Tag 通常固定指向某个快照;WAP 是 Write-Audit-Publish,即先把数据写入审计 Branch,…
Iceberg 写入通常先由分布式 Task 生成 Data File 或 Delete File,再汇总文件信息写入 Manifest、Manifest List 和新 Snapshot,生成新的 metadata.json,最后通过 C…
Iceberg 通过不可变 Content File、Snapshot 元数据树、Catalog 原子切换 metadata.json 指针和乐观并发校验实现单表 ACID;Snapshot Isolation 主要阻止并发删除或替换当前操…
Iceberg 隐藏分区是把物理分区规则记录为表元数据中的 Partition Spec,由 Iceberg 根据源字段自动计算分区值,并把查询条件自动投影成分区条件。 因此,用户只需要按业务字段查询,例如过滤 eventtime,不必再手…
Iceberg Partition Transform 把业务列映射成更适合物理布局的分区值:identity 保留原值,时间 Transform 按年/月/日/小时归组,bucket(N) 按稳定哈希分桶,truncate(W) 按宽度截…
Iceberg 分区演进是通过创建新的 Partition Spec,并让新写入文件使用新 Spec,同时保留历史文件原来的 Spec ID 和分区元组,从而让多套分区布局在同一张表中共存。 修改分区规则本身是元数据操作,不要求立即重写历史…
Iceberg Schema Evolution 的核心是为每个字段分配永久且不复用的 Field ID,读取数据时按 ID 建立逻辑 Schema 与物理文件列之间的映射,而不是只按列名或列位置猜测。 因此,加列、删列、重命名、重排和部分…
Append 只新增 Data File;Delete 移除 Data File 或增加 Delete File,让逻辑行减少;Overwrite 同时增加和移除文件,并用新数据逻辑替换旧数据;Replace 也增加和移除文件,但逻辑表数据…
动态 Overwrite 根据查询结果实际写入的分区决定替换范围;静态 Overwrite 根据 SQL 的 PARTITION 子句生成删除过滤条件,若省略该子句,可能覆盖整张表。 Iceberg 使用隐藏分区时,静态模式无法方便地在 P…
Copy-on-Write 在写入时读取受影响的 Data File,应用更新或删除后生成新 Data File;Merge-on-Read 保留原 Data File,通过 Delete File 或 Deletion Vector 标记…
Position Delete 用“数据文件路径 + 行位置”定位被删行,Equality Delete 用一个或多个字段值匹配被删行,Deletion Vector 则用针对单个数据文件的位图记录被删位置。 Iceberg V2 引入 P…
Iceberg 的 Write Distribution Mode 主要有 none、hash 和 range。none 不主动 Shuffle,成本最低但容易产生小文件或同时打开很多分区文件;hash 按分区值哈希分布,是普通分区表最通用…
Iceberg 查询先通过 Catalog 找到当前表元数据并固定一个 Snapshot,再用 Manifest List 的分区摘要排除无关 Manifest,用 Manifest 中每个 Content File 的分区值和列级 Met…
Iceberg 会在 Manifest 中为每个数据文件记录行数、文件大小、各列值数量、NULL/NaN 数量以及上下界等统计信息。查询规划时,它先利用分区摘要排除 Manifest,再利用文件级统计排除 Data File,最后由 Par…
Iceberg Compaction 是在保持表逻辑结果不变的前提下,用新的文件集合替换低质量的 Data File 或 Delete File,从而优化文件大小、数据布局和读时合并成本。 广义维护还包括 Rewrite Manifests…
Expire Snapshots 是按表的 Snapshot 引用关系淘汰旧版本,并删除不再被任何有效 Snapshot 引用的文件;Remove Orphan Files 是扫描存储目录,删除没有被表元数据引用且超过安全时间的文件。 前者…
Iceberg Metadata Tables 是把表的 Snapshot、Manifest、Data File、Delete File、分区和 Branch/Tag 元数据映射成可查询关系表的接口。 history/snapshots 查…
小 Data File 是数据层碎片,通常通过控制写入并行度、目标文件大小和写入分布来预防,再用 rewritedatafiles 合并;小 Manifest 是元数据层碎片,通常通过自动 Manifest Merge 预防,再用 rewr…