12 道Hudi面试题。
Apache Hudi 是构建在 HDFS、对象存储等数据湖存储之上的湖表管理与事务层:它用 Timeline 管理原子提交和版本,用 Record Key 与索引定位记录,用 File Group/File Slice 组织文件版本,再通…
COW(Copy On Write)每次更新都同步重写受影响 File Group 的 Base File,写放大高但查询直接读列式文件;MOR(Merge On Read)先将更新写入 Log File,Snapshot Query 查询…
Record Key 定义记录身份,Partition Path 决定物理分区,Ordering Field 判定同一 Key 的版本新旧;Index 定位旧记录所在 Partition/File Group,Record Merger 按…
Hudi 在 Base Path 下按可选 Partition 组织数据;分区内有多个由稳定 File ID 唯一标识的 File Group;同一 File Group 跨多个 instant 可以拥有多个 File Slice。每个 S…
Hudi Timeline 是表状态的事实来源:写入、表服务、Schema 变更等都会以 Action 记录在不同 Instant 上。查询只承认 COMPLETED Action 对应的文件版本,因此一批订单即使计划写 100 个文件、写…
Upsert 是默认增量操作,先通过索引把输入标记为 insert 或 update,适合包含新增、更新、删除语义的 CDC;Insert 跳过索引查找,仍使用与 Upsert 类似的文件 sizing/packing heuristic,…
Upsert 是 Hudi 默认的增量写操作:先处理同批相同 Key,再通过 Index Lookup 给输入记录打上已有 Partition + File ID/File Group 的位置标签;命中走 update,未命中走 inser…
先用唯一性确定 Global 还是 Non-Global,再按更新分布、Key 有序性、规模、引擎、表类型、运维预算和扩缩容选实现:Spark 从 SIMPLE 基线测起,时间集中且 Key 有序可选 BLOOM,稳定哈希路由可选 BUCK…
COW/MOR 是 Table Type,决定数据怎么写;Snapshot、Read Optimized、Incremental 是 Query Type,决定数据怎么看:Snapshot 看某个已完成时点的最新逻辑状态,MOR 需要合并 …
Compaction 合并 MOR 的 Base 与 Log;Clustering 重写 COW/MOR 的 File Group 来优化大小、排序和布局;Cleaning 删除保留窗口之外的旧 File Slice;Archival 把旧…
Flink CDC 写 Hudi 的本质是“把 changelog 按主键 upsert 进 MOR 表,并用 checkpoint 驱动 Hudi 提交”:选好接入方式(直连 binlog 或 Kafka + CDC Format),全量…
Hudi ODS 是源库的“可回溯近实时镜像”:用稳定主键做 Record Key、用不可变字段做 Partition Path、用可信版本字段做 Ordering Field,高频更新表选 MOR + 按规模选索引,再用 Compacti…