Hudi Timeline是什么?如何保证数据一致性?

这道题考什么

这道题最常见的错误回答是:“Hudi 把文件写到临时目录,全部成功后再统一改名,所以读不到半成品。”这既忽略了对象存储未必提供传统文件系统式的目录改名,也没有解释 MOR、表服务和失败清理。正确思路是:先用 Timeline 定义什么叫已提交,再让查询只基于已完成 Action 构造一致视图;失败产生的文件随后由 Rollback 清理。

一句话回答

Hudi Timeline 是表状态的事实来源:写入、表服务、Schema 变更等都会以 Action 记录在不同 Instant 上。查询只承认 COMPLETED Action 对应的文件版本,因此一批订单即使计划写 100 个文件、写到第 63 个 Executor 崩溃,已落盘的 63 个文件也不会被当成完整提交;之后 Rollback 再删除部分文件和相关元数据。前者解决“不可见”,后者解决“物理清理”。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目