Iceberg、对象存储和 Catalog 是什么关系?一张表的数据到底存在哪里
这道题考什么
这是理解 Iceberg 架构的关键题。很多人会说“数据存在 Iceberg 里”或者“Catalog 保存 Iceberg 元数据”,这两句话都不够准确。面试官真正想听的是:Catalog、Iceberg Metadata 和对象存储分别保存什么,读写时又怎样串起来。
一句话回答
对象存储保存文件,Iceberg Metadata 定义表,Catalog 保存表的入口并协调提交。 业务数据、Delete File、Manifest、Manifest List 和 metadata.json 通常都在 S3、OSS 或 HDFS;Catalog 保存 Namespace、表名以及当前 Metadata 的定位信息,计算引擎先通过 Catalog 找到当前版本,再沿 Iceberg 元数据链读取实际数据文件。