Spark、Flink、Trino 和 Iceberg 是什么关系?各自负责什么
这道题考什么
这道题经常出现在湖仓架构面试中。很多人会回答“Flink 做实时、Spark 做离线、Trino 做查询、Iceberg 做存储”,最后一句其实不准确。面试官真正想听的是:计算引擎、表格式、Catalog 和对象存储怎样围绕同一张表协作。
一句话回答
Spark、Flink、Trino 是计算引擎,Iceberg 是开放表格式。 Flink 适合持续写入和增量处理,Spark 适合批量计算、回刷与维护,Trino 适合交互式查询;Iceberg 用统一的 Schema、Snapshot、Manifest 和 Commit 规则让这些引擎读写同一张表,Catalog 负责表名解析与提交入口,对象存储负责保存文件。