比Parquet更高级?答错了
把 Iceberg 说成比 Parquet 更高级的文件格式,这道题一开口就答错了。另一个常见回答:把 Hive 表换成 Iceberg,查询就一定更快。这句同样不准确。面试官真正想听的,是文件格式、表格式、Catalog 和计算引擎,各自负责什么。Iceberg 到底管了哪些 Parquet 管不了的事?它和传统 Hive 表的核心差异,是元数据、事务,还是分区?
一句话回答:Iceberg 是面向大规模分析数据集的开放表格式。它不执行 SQL,也不替代 Parquet,而是站在 Parquet、ORC、Avro 这些数据文件之上,用一套统一的元数据,管理整张表的文件集合、快照、Schema、分区规则和并发提交。分工可以这样记:Parquet 解决一个文件怎么高效存;传统 Hive 表解决怎么用表名和目录,把文件组织成表;Iceberg 再往上一步:哪些文件属于当前表,表有哪些版本,怎么安全地更新和演进。
先看痛点。对象存储里有一张订单表,底下放着 10 万个 Parquet 文件,按 dt 日期分目录。Parquet 能告诉你,每个文件里有哪些列、怎么编码、怎么压缩,还能存 Row Group 的统计信息。但它回答不了:当前这张表,到底包含哪 10 万个文件?某个文件是有效数据,还是失败任务留下的残留文件?昨天的版本和今天的版本,分别引用了哪些文件?两个任务同时提交,谁的结果应该生效?删掉一批订单之后,旧查询还能不能读到删除前的数据?分区规则从按天改成按小时,新旧文件又怎么共存?这六个问题都是表级管理问题,不是单个文件格式能解决的。打个比方:Parquet 像一个个包装规范统一的纸箱,知道箱子里的东西怎么摆。Iceberg 像仓库总账:记录当前有哪些箱子、哪些已经作废、昨天有哪些箱子。新货入库,总账一次性切换到新版本。
理解 Iceberg,先别急着背功能,先把数据平台里的四类角色分清楚。第一层,文件格式:Parquet、ORC、Avro。它负责单个文件内部怎么组织:行式还是列式,列怎么编码压缩,NULL 怎么表示。还有 Row Group、Stripe 怎么切,文件里存哪些统计信息,这些前面专题讲过。第二层,表格式:Iceberg、Hudi、Delta Lake、Paimon。它把大量数据文件,组织成一张可演进、可提交、可查询的逻辑表。它管文件清单、当前版本和历史快照、Schema 与字段 ID、分区和排序规则;还管数据文件与删除文件,以及事务提交和并发冲突。第三层,Catalog:通过表名,找到这张表当前的元数据入口。比如表名 prod.trade.order_detail,指向当前那份 metadata.json 的位置。Hive Metastore、Hadoop Catalog、REST Catalog,都能承担 Catalog 的职责。Catalog 不是数据文件本身,也不负责扫描和聚合数据。第四层,计算引擎:Spark、Flink、Trino、Hive、Impala。它负责解析 SQL、生成执行计划、读取文件、做 Join、聚合和写入。一条 SQL 自上而下:引擎先问 Catalog,Catalog 指向 Iceberg 元数据;元数据列出要读的 Parquet 文件,文件最终放在 HDFS 或对象存储上。五层共同完成一次查询。把其中任何一层都叫数据库,职责就讲乱了。
先比 Iceberg 和 Parquet。一句话:Parquet 管文件,Iceberg 管表。Parquet 的管理边界是单个文件;Iceberg 的管理边界是整张表,可以引用大量 Parquet 文件。一张 Iceberg 表在存储上分两块:data 目录放 Parquet 数据文件,metadata 目录放元数据。元数据是一棵树:最上面是 metadata.json,记录 Schema、分区规则和快照列表。每个快照指向一个 Manifest List,它列出这个快照用到的 Manifest 文件。每个 Manifest 再逐行记录数据文件:路径、分区值,以及每列的最小值、最大值等统计。Manifest 和 Manifest List 都是 Avro 文件,业务数据仍然在 Parquet 里。版本以当前 Iceberg 1.12 为准:表格式规范 v1 到 v3 已定稿,1.4 起新建表默认 v2。Iceberg 没有把列式编码重新发明一遍,而是复用底层文件格式,再补上表级能力。二者可以同时存在,不是二选一。看这条建表语句。USING iceberg 说明表格式是 Iceberg;按 pay_time 的天做隐藏分区。write.format.default 等于 parquet,数据文件用 Parquet 写;其实不写,默认也是 Parquet。职责这样分:Iceberg 管整张表,Parquet 存每个数据文件,Spark 执行建表、写入和查询;Catalog 通过表名定位元数据,对象存储保存物理文件。写入一次,生成快照 101,引用文件 1 和 2;再追加一次,快照 102 引用文件 1、2、3。旧文件被两个快照共用,不需要复制。所以问 Iceberg 和 Parquet 选哪个,就像问总账和纸箱选哪个。它们处在不同层,正常答案通常是一起用。
再比传统 Hive 表。这里指用 Hive Metastore 管理、靠目录和显式分区组织的数据湖表。不是说 Hive 引擎读不了 Iceberg;Hive 4 起就能直接建表、读写 Iceberg 表。传统分区表长这样:每天一个 dt 等于某天的目录。分区就是目录,前面专题讲过。Metastore 保存分区信息,物理目录也体现分区值,写入和查询都要显式维护 dt。查 10 点到 12 点的支付数值,除了 pay_time 条件,还得再写一个 dt 等于 8 月 1 日。如果只写 pay_time、不写 dt,Hive 不知道这两列有关系,可能扫遍整张表的文件。查询逻辑和物理分区布局,就这样耦合在了一起。Iceberg 不靠递归列目录,来确认表里有哪些文件。当前快照通过 Manifest 精确记录有效数据文件,引擎再按分区变换和文件统计做裁剪。表按 pay_time 的天做隐藏分区,查询只写业务字段 pay_time 的时间范围就行。引擎会把 pay_time 条件自动换算成对隐藏分区的过滤,不需要知道物理分区列叫 dt。以后分区规则改了,业务 SQL 也不用跟着改。很多人以为最大差别是有没有 Metastore。其实 Iceberg 也可以用 Hive Metastore 做 Catalog。所以,用了 Hive Metastore 就不是 Iceberg,这句话是错的。传统 Hive 表的表状态,由 Metastore 里的分区和存储上的目录共同表达。Iceberg 表的表状态,由它自己的元数据、快照和 Manifest 精确表达。Hive Metastore 这时只存一个指针 metadata_location,指向当前的 metadata.json,不再逐个维护分区和数据文件。前面专题讲过内部表和外部表,那比的是删表时谁管数据;这里比的是表的当前状态由谁说了算。
把三者放进一张表对比。先看所处层次:Parquet 是文件格式,传统 Hive 表是目录式的表管理方式,Iceberg 是开放表格式。管理对象:单个文件;表、分区和目录;整张表的文件集合与版本。数据文件:Parquet 自己就是文件;Hive 表常用 Parquet、ORC;Iceberg 可以用 Parquet、ORC、Avro。文件发现:Parquet 不负责;Hive 靠目录和 Metastore 分区;Iceberg 靠快照和 Manifest 精确跟踪。原子提交:Hive 表多文件提交能力有限,依赖引擎实现;Iceberg 切换元数据指针,一次提交新的表状态。历史版本:Hive 表通常没有统一的表级快照;Iceberg 原生支持快照、时间旅行和回滚。Schema 演进:Parquet 只描述文件内的 Schema;Hive 表容易受列名、列位置和历史文件影响;Iceberg 用字段 ID 管理,演进更安全。分区方式:Hive 是显式分区列加目录;Iceberg 是隐藏分区,还能做分区演进。行级更新:Hive 表通常要重写分区,或者依赖 ACID 事务表;Iceberg 结合数据文件和删除文件实现。多引擎读取:Hive 表要共享目录和 Metastore 语义;Iceberg 让各引擎按同一套规范读取表状态。归根到底,Parquet 回答一个文件怎么高效存,Hive 表回答文件怎么按目录形成表;Iceberg 回答一张表怎么可靠地更新、演进,和管理多个版本。
Iceberg 到底多了哪些能力?能力一,快照和时间旅行。每次成功的数据提交,都会产生一个新的表快照。注意,改 Schema、改表属性也会生成新的 metadata.json,但不产生新的数据快照。读任务固定在开始时的那个快照上,读不加锁,也看不到写到一半的数据。在 Spark 里,VERSION AS OF 加快照 ID,或 TIMESTAMP AS OF 加时间,就能查历史版本。某次写入出了坏数据,还可以回滚到之前的快照。但有个前提:快照还没被清理。定期执行 expire_snapshots 之后,过期快照就回不去了。需要长期保留的版本,可以给快照打 tag。
能力二,安全的 Schema 演进。Iceberg 用字段 ID 识别列,而不是只靠列名或列位置。新增一列,就分配一个从没用过的新 ID;改名只改名字,ID 不变。表里记着已经分配过的最大列 ID,所以 ID 不会被重复使用。增加、删除、改名、调整顺序,都是元数据变更,不用重写历史数据文件。反过来看:按列名匹配,删掉一列再加回同名列,旧数据可能被误读回来;按位置匹配,删掉中间一列,后面的列就全对错了位。
能力三,隐藏分区和分区演进。用户按业务字段过滤,Iceberg 按分区变换自动裁剪文件。分区规则可以从按月改成按天:老数据保持按月的布局,新数据按天写入。两种布局在同一张表里共存,查询时各自按自己的规则规划文件。分区演进只改元数据,不会先把历史文件全部重写一遍。传统 Hive 表做不到,从按天改成按小时,通常要建新表,查询也得跟着改写。
能力四,并发提交。多个写任务可以基于同一个快照并发干活。提交走乐观并发:各自先写好新的元数据文件,再尝试把表指针原子地换到自己的版本。两个提交基于同一版本,只有一个能成功。失败的一方,基于最新版本检查后重试。两边都只是追加数据,互不冲突,重试就能合并进去。如果要合并的文件已经被别人删了,或者 Schema 在这期间被改了,提交就直接失败。宁可失败,也不静默覆盖别人的结果。
能力五,行级更新。引擎可以用 DELETE、UPDATE、MERGE INTO 修改 Iceberg 表。Spark 默认是 copy-on-write:把受影响的数据文件整个重写,读起来快,写起来重。也可以改成 merge-on-read:只写一个删除文件,记下哪些行被删了,读的时候再合并。删除文件从表格式 v2 开始有;v3 又加了删除向量,用位图标记某个文件里被删的行。两种方式,是在更新成本和读取性能之间做取舍。五项能力合起来:快照、Schema 演进、分区演进、并发提交和行级更新,背后都是同一套元数据。
再说 Iceberg 不是什么。第一,它不是计算引擎,不执行 Join、Shuffle 和聚合。查询慢,不能一句用了 Iceberg 就会快;还要看执行计划、文件大小、排序、分区和资源。第二,它不是文件格式。数据文件还是 Parquet,并没有一种装业务数据的 .iceberg 文件。metadata.json、Manifest List、Manifest 这些元数据文件,共同描述一张表。第三,它不等于完整的湖仓平台。还需要对象存储或 HDFS、Catalog 和权限治理、计算引擎;还要调度、血缘、质量监控,以及合并小文件、清理快照这些维护任务。第四,它不会自动解决小文件。流式写入频繁提交,照样会产生大量小文件和 Manifest。要控制提交频率,定期合并小文件、整理 Manifest、过期旧快照、清理孤儿文件。在 Spark 里,对应存储过程 rewrite_data_files 和 rewrite_manifests,还有 expire_snapshots 和 remove_orphan_files。Iceberg 提供的是可靠的表级规则,不是免运维的万能加速器。
什么场景值得用 Iceberg?第一,同一份湖上数据,要被 Spark、Flink、Trino 多个引擎共享。第二,需要 MERGE INTO、更新、删除,或者 CDC 入湖。第三,需要时间旅行、审计和历史版本回溯。第四,Schema 和分区规则会持续变化。第五,数据在对象存储上,不适合频繁重命名目录、扫描文件列表。第六,多个任务并发写入,需要统一的提交和冲突检测。反过来,数据只写一次、几乎不更新,或者表很小、单引擎读就够,不一定需要它。团队没有能力维护 Catalog、小文件合并和快照生命周期,也要慎重。业务要毫秒级主键点查,Iceberg 也不是替代 OLTP 数据库的默认方案。把选型画成决策树。第一问:问题是单个文件怎么编码压缩吗?是,那你在选的是 Parquet、ORC 这类文件格式。否,再问:需要管理整张表的版本和文件集合吗?只要简单目录表,传统 Hive 表可能就够。需要,再问:要不要更新、时间旅行、演进或多引擎并发?要,就选 Iceberg 这类开放表格式。暂时不需要,就比较引入成本和未来的演进需求。选了 Iceberg,还得接着选计算引擎、选 Catalog,底层数据文件仍然选 Parquet 这类格式。
面试可以这样回答。Iceberg 是开放表格式,不是计算引擎,也不是 Parquet 的替代品。第一,Parquet 是文件格式,负责单个文件的列式编码、压缩和统计信息。Iceberg 管理整张表的数据文件、快照、Schema、分区规则和事务提交,底层仍可用 Parquet。第二,传统 Hive 表依赖 Metastore 分区和目录组织文件,查询容易和显式分区列耦合。Iceberg 用快照和 Manifest 精确跟踪有效文件,支持隐藏分区和分区演进。第三,Iceberg 还提供时间旅行、行级更新和乐观并发控制。实际架构是:计算引擎通过 Catalog 读 Iceberg 元数据,再去读 Parquet 数据文件,各层职责不同。
追问一:用了 Iceberg,还需要 Parquet 吗?需要,而且二者通常配合使用。Iceberg 负责表级元数据和版本,Parquet 保存实际的业务数据。建表时,默认数据文件格式可以设成 Parquet、ORC 或 Avro。查询时,Iceberg 先按快照和 Manifest 规划要读哪些文件,引擎再用对应的读取器扫描 Parquet。
追问二:Iceberg 和 Hive Metastore 是替代关系吗?不是。Hive Metastore 可以作为 Iceberg Catalog 的一种实现,按表名保存当前元数据文件的位置。区别在于:传统分区表要在 Metastore 里管理大量分区,靠目录表达表结构;Iceberg 的文件、快照和分区版本由自己的元数据管理,Catalog 主要负责定位入口和原子提交。
追问三:Iceberg 为什么适合对象存储?对象存储的目录,通常只是 Key 前缀。列目录很慢,重命名目录也不是原子的,依赖文件系统原子重命名的做法都不理想。Iceberg 不靠递归列目录发现文件,而是靠 Manifest 精确跟踪。写入时先生成新的数据文件和元数据文件,最后原子更新表的元数据指针,写好的文件不再改动。补一个边界:这个原子更新,要交给 Hive Metastore、REST 这类 Catalog 来做。靠文件重命名提交的 Hadoop Catalog,官方规范已标为弃用,在对象存储上不安全。
追问四:换成 Iceberg,查询一定更快吗?不一定。Manifest 和文件统计,能减少文件发现的开销和扫描范围。但性能还取决于分区、排序、文件大小、过滤条件、计算引擎和资源。大量小文件、Manifest 过多,或者查询没有有效过滤,照样可能很慢。Iceberg 首先解决的是可靠性和表管理,性能要靠建表设计和维护策略配合。
追问五:Iceberg、Hudi、Paimon 和 Delta Lake 是同一类东西吗?它们都属于湖上表格式,都在数据文件之上补充事务、更新和元数据能力。但设计重点、生态集成、流式能力和更新实现各不相同。选型要比较主力计算引擎、CDC 更新频率、查询模式、Catalog 生态和运维能力。不能因为它们都能用 Parquet,就认为实现完全一样。
最后把层次摆正:计算引擎执行 SQL,Catalog 按表名定位元数据;Iceberg 管表状态、快照和文件集合,Parquet 存单个数据文件,HDFS 或对象存储放物理文件。Iceberg 的价值,是给湖上散落的文件,加一套可靠的表级操作系统。读能看到一致版本,写能安全提交,Schema 和分区能演进,历史能查询,多引擎能共享同一套表语义。一句话收尾:Parquet 管一个文件怎么存,Iceberg 管一张表现在是什么样。