Hudi中File Group、File Slice、Base File和Log File分别是什么?

这道题考什么

一个订单更新为何只触达部分文件,而不是覆盖整个分区?

最常见的错误回答是:“File Group、File Slice、Base File、Log File 都是 Hudi 的文件,只是格式不同。” 这句话把逻辑组织和物理文件混成了一层,也解释不了 Hudi 为什么能做局部 Upsert。

正确思路应该从订单定位链路出发:先由 Index 把 order_id 映射到稳定的 File ID,也就是某个 File Group;再在 Timeline 允许可见的 File Slice 中读写 Base File 与 Log File。File Group 是长期归属边界,File Slice 是这个组在某个 Base Instant 上的版本,Base File 和 Log File 才是 Slice 内的数据载体。

一句话回答

Hudi 在 Base Path 下按可选 Partition 组织数据;分区内有多个由稳定 File ID 唯一标识的 File Group;同一 File Group 跨多个 instant 可以拥有多个 File Slice。每个 Slice 以一个 Base File 为主体,并收纳在下一个 Base File 的 requested instant 之前完成的若干 Log File;COW 实际不写 Log,MOR 才可能有 Log。Base File 保存完整记录,Log File 保存 insert、update、delete 等增量变化。Timeline 决定哪个 Slice 可见,Compaction 生成新 Slice,Cleaning 才删除不再需要的旧 Slice。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目