6 道数据湖面试题。
数据仓库是先定义结构再存数据(Schema-on-Write),强调数据质量和查询性能;数据湖是先存数据再定义结构(Schema-on-Read),强调灵活性和低成本。两者不是替代关系,而是现在正在融合成"湖仓一体"——用数据湖的存储成本 …
湖仓一体解决的是传统 Hive 数仓在实时更新、事务一致性、增量消费、历史版本、多引擎共享上的短板;传统 Hive 数仓更像“批处理报表工厂”,湖仓一体更像“统一数据底座”,用 Iceberg/Hudi/Paimon 这类表格式在 HDFS…
CDC 是把数据库里的 INSERT / UPDATE / DELETE 变成事件流的一套机制;在 MySQL 里,Binlog 是 CDC 最常用的原料,但 CDC 不等于 Binlog,Binlog 只是 CDC 的一种实现底座。…
湖仓一体关注“数据怎么存、怎么管、怎么被多个引擎共享”,核心是数据湖存储、湖表格式和数仓能力的结合;流批一体关注“数据怎么处理”,希望用统一的数据模型、处理逻辑和一致性语义,同时处理无界流数据和有界批数据。 简单说:湖仓一体偏存储与数据管理…
Iceberg 强调开放规范、快照元数据和多引擎分析;Hudi 围绕 Timeline、File Group 与索引优化增量写入和 Upsert;Delta Lake 通过 Transaction Log 提供事务并与 Spark 生态深度…
Spark、Flink、Trino 是计算引擎,Iceberg 是开放表格式。 Flink 适合持续写入和增量处理,Spark 适合批量计算、回刷与维护,Trino 适合交互式查询;Iceberg 用统一的 Schema、Snapshot、…