Hudi Upsert如何定位旧记录?
这道题考什么
这是 Hudi 核心题库第 7 篇,也是很容易把“索引”“合并”“物理文件”混成一件事的题。大部分人会回答:“根据 Record Key 找到旧数据,然后覆盖。”这句话至少漏了三个关键点:**Index Lookup 返回的是位置映射,不是整条旧记录;File Group 不是单个物理文件;定位与版本胜负是两套职责。**面试官真正想听的是一条可落地的写入链路。
一句话回答
Upsert 是 Hudi 默认的增量写操作:先处理同批相同 Key,再通过 Index Lookup 给输入记录打上已有 Partition + File ID/File Group 的位置标签;命中走 update,未命中走 insert,随后做 File Sizing/Partitioning,COW 重写目标 File Group 的 Base File,MOR 向目标 File Group 的 Log 追加,更新索引并在 Timeline 提交完成后对查询可见。