Hudi的Insert、Upsert和Bulk Insert有什么区别?
这道题考什么
最常见的错误回答是:“Insert 只新增,Upsert 只更新,Bulk Insert 就是批量新增。”这相当于把 Hudi 写操作硬套成数据库 SQL。正确思路应从五件事展开:是否查索引、如何处理同 Key、采用什么文件组织路径、吞吐与内存代价、业务能否保证输入相对存量一定是新数据。
一句话回答
Upsert 是默认增量操作,先通过索引把输入标记为 insert 或 update,适合包含新增、更新、删除语义的 CDC;Insert 跳过索引查找,仍使用与 Upsert 类似的文件 sizing/packing heuristic,适合能保证相对存量 Key 全新的持续追加;Bulk Insert 与 Insert 的记录语义相同,但走更可扩展的磁盘型批量写路径,适合数百 TB 初始装载,文件大小只是 best-effort。 三种操作可以在同一张表的不同批次间切换。