Hudi索引怎么选?

这道题考什么

这是 Hudi 面试里最能看出实战经验的一题。大部分人会背“Bloom 快、Bucket 更快”,却没先问:这个索引是给 Upsert 找旧记录,还是给查询做数据跳过?Key 要不要跨分区唯一?更新到底集中还是随机? 面试官真正想听的是一套有边界的选型方法,而不是一个万能答案。本文口径以 Apache Hudi 1.2.1 为准。

一句话回答

先用唯一性确定 Global 还是 Non-Global,再按更新分布、Key 有序性、规模、引擎、表类型、运维预算和扩缩容选实现:Spark 从 SIMPLE 基线测起,时间集中且 Key 有序可选 BLOOM,稳定哈希路由可选 BUCKET,大规模精确定位优先评估 RECORD_LEVEL_INDEX / GLOBAL_RECORD_LEVEL_INDEX;Flink 默认 FLINK_STATE,跨作业共享定位能力时再评估 RLI。

面试回答模板

面试官:Hudi 索引怎么选?

你:我先区分 Writer-side Index 和查询侧索引,前者给 Upsert 定位 File Group,后者用 Expression、Secondary、Column Stats 等做数据跳过。选 Writer Index 时先定唯一性:跨分区唯一选 Global,否则选 Partitioned;Global 不等于必然全表扫描,Global RLI 可以查精确映射。第二看更新分布:近期集中且 Key 有序适合 Bloom,随机更新先以 Simple 做基线,大规模精确定位评估 RLI,需要 Hash 路由再看 Bucket。第三看工程边界:Spark 默认 Simple,Flink 默认 Flink State;Consistent Hashing Bucket 仅 MOR,扩缩还要 Spark 执行 Clustering。真实订单项目里,我还会先确认分区字段是否变化、多 Writer 是否共享索引、团队能否维护 MDT 或跨引擎表服务。最后用同一天 CDC 回放比较写延迟、Shuffle、候选文件数、重复 Key 和运维成本,以正确性与 P99 SLA 达标为判断标准,不给“某个索引永远最好”的答案。

图解

Hudi 0.15 写入索引:回答几个问题选出类型

四种写入索引:怎么定位旧记录

SIMPLEBLOOMBUCKETRECORD_INDEX
定位Key 直接 Join范围裁剪 再查 BloomHash 算 出桶号查 MDT 映射
唯一分区内分区内分区内全表
存哪不额外存数据文件 footer不存, 按规则算MDT 的 record_index
短板大表 Join 重Key 随机 候选多桶数定死 怕倾斜MDT 要 维护

先搞懂基本概念:Hudi 里有两类“索引”

1. Writer-side Index——回答“这次更新该写哪个 File Group”

MySQL 订单 CDC 来了一条 order_id=1001 的“已支付”记录,Writer-side Index 要把它映射到已有记录所在的 File Group,供 Upsert/Delete 使用。SIMPLE、BLOOM、BUCKET、RECORD_LEVEL_INDEX、GLOBAL_RECORD_LEVEL_INDEX、FLINK_STATE 都属于这一层。

2. 查询侧加速索引——回答“这次查询哪些文件不用读”

Expression Index、Secondary Index、Column Stats、Partition Stats 面向谓词裁剪、数据跳过和查询规划。它们可能也由 Metadata Table 承载,但不能替代 Writer-side Index 的记录定位职责。

类比:Writer-side Index 像仓库入库员,决定退换货应该回到哪个货架;查询索引像导购,帮顾客跳过不相关的楼层。都叫“索引”,工作却完全不同。

3. Global 与 Non-Global——先决定唯一性作用域

Global 的核心不是“必然全表扫描”,而是跨所有分区按 Record Key 保证唯一;Non-Global(Partitioned)通常按 partition path + record key 保证唯一,只在输入涉及的分区内查找。具体是否扫描、扫描多少,取决于索引实现:Global RLI 可直接查映射,不能把 Global 一概说成“全表扫、一定慢”。

如果订单的分区字段永不变化,分区内唯一往往已经够用;如果订单可能因日期修正迁移分区,还要求全表只能有一个 order_id,就要认真评估 Global。

核心论证:六种 Writer-side Index 怎么选?

原因1:先看定位机制,不要只背性能结论

  • SIMPLE:抽取输入 Key 和表中 Key 做 Join。难以有效剪枝、更新随机散布时,它少做一轮 Bloom 探测,反而可能优于 Bloom;Spark 1.2.1 默认就是 SIMPLE。
  • BLOOM:先用文件 Key 的最小/最大范围裁剪,再读 Key Bloom Filter 判断候选文件。时间前缀 Key、有序 Key、更新集中在近期分区时收益大;随机全表更新时候选文件多,成本会升高。
  • BUCKET:对 Key 做 Hash,直接推导 File Group,定位成本稳定,但会把数据布局与桶数绑定。
  • RECORD_LEVEL_INDEX:把 partition path + record key -> File Group 映射放在 Metadata Table 的 record_index/ 分区,分区内唯一。
  • GLOBAL_RECORD_LEVEL_INDEX:同样使用记录级映射,但按 Record Key 跨所有分区唯一。旧名 RECORD_INDEX 已 deprecated,新项目不要继续写旧值。
  • FLINK_STATE:由 Flink 状态后端维护定位状态,适合单条持续运行的流式作业;这是 Flink 默认值,但作业恢复、状态体积和多 Writer 共享能力必须纳入成本。

10 维以上总对比表

对比维度 SIMPLE BLOOM BUCKET RECORD_LEVEL_INDEX GLOBAL_RECORD_LEVEL_INDEX FLINK_STATE
默认引擎 Spark 1.2.1 默认 非默认 非默认 非默认 非默认 Flink 默认
唯一性范围 分区内 分区内 通常分区/桶范围 Partition Path + Key 全表 Record Key 取决于 Flink 全局配置
定位方式 Key Join 范围+Bloom Hash 路由 MDT 精确映射 MDT 全局精确映射 状态后端映射
剪枝依赖 不依赖 强依赖 Key 分布 不依赖扫描剪枝 不依赖数据文件扫描 不依赖数据文件扫描 不依赖数据文件扫描
随机全表更新 可作为稳健基线 候选文件多时变差 稳定 适合 适合且全局唯一 状态足够时适合
近期集中更新 可用 适合 适合 适合 按唯一性决定 适合流式
有序 Key 收益 一般 范围裁剪收益大 一般 一般 一般 一般
索引存储位置 无独立映射 数据文件/元数据相关 Bloom 由布局规则推导 MDT record_index/ MDT record_index/ Flink State/RocksDB
扩缩容能力 不绑定桶 不绑定桶 取决于 Bucket 引擎 可调 File Group 可调 File Group 受状态重分布影响
表类型限制 COW/MOR COW/MOR 引擎能力不同 COW/MOR COW/MOR Flink 支持范围内
多 Writer 共享 基于表数据 基于表数据 要统一布局参数 共享 MDT 共享 MDT 本地状态不天然共享
运维成本 中 中 中,需管桶布局 中,需管 MDT 中,需管 MDT 中高,需管 Checkpoint/状态
典型风险 大 Join 假阳性与探测放大 桶倾斜、固定桶不足 MDT 维护成本 唯一性语义改变、MDT 成本 状态膨胀与恢复时间
推荐场景 随机更新基线 时间型事实表 稳定 Hash 路由 分区内唯一大表 跨分区唯一大表 单 Flink 长跑任务

HBASE 也能提供全局 Key 到位置的外部映射,但要额外维护集群、容量、可用性和一致性;除非公司已经有成熟 HBase 平台和明确收益,否则更适合作为“高运维成本的历史方案”背景,而不是新项目首选。

原因2:更新分布决定 SIMPLE 和 BLOOM 谁更划算

真实订单表每天新增 5000 万行,95% 的状态更新发生在最近 3 天,order_id 带时间前缀,此时 Bloom 的范围裁剪可以排除大量老文件。另一张用户画像表有 2 亿行,更新每天仅 50 万条,却随机散布全表,Bloom 可能把大量文件都变成候选;SIMPLE 直接 Join 反而更干脆。

错误答案是“Bloom 有过滤器,所以一定比 Simple 快”;正确答案是先看能否裁掉足够多文件,再用同一批 CDC 压测索引查找时间、Shuffle、写延迟和资源成本。

原因3:选 BUCKET 必须把扩缩容和表类型一起回答

Simple Bucket 用 hash(key) % N 定位,桶数固定;Partition-Level Bucket 是每个分区固定桶数,适合各分区规模相对稳定的表。Consistent Hashing Bucket 可通过 Clustering 调整 File Group 数,但只兼容 MOR。Flink 可以调度 Clustering,实际执行仍需要 Spark,因此纯 Flink 团队要把跨引擎运维算进去。

补充概念:真实订单 CDC 怎么落配置?

Spark——参数用 hoodie.index.type

下面订单按创建日分区,业务保证订单不迁移分区,因此先采用分区内 RLI;若这个前提不成立,应改成 GLOBAL_RECORD_LEVEL_INDEX 并验证跨分区更新。

orders.write.format("hudi")
  .option("hoodie.table.name", "dwd_order")
  .option("hoodie.datasource.write.operation", "upsert")
  .option("hoodie.datasource.write.recordkey.field", "order_id")
  .option("hoodie.datasource.write.partitionpath.field", "dt")
  .option("hoodie.index.type", "RECORD_LEVEL_INDEX")                  // 关键:分区内记录级定位,不写已弃用的 RECORD_INDEX
  .option("hoodie.metadata.enable", "true")                           // 关键:启用 Metadata Table
  .option("hoodie.metadata.record.level.index.enable", "true")        // 关键:创建并维护分区级 record_index
  .mode("append")
  .save("s3://lake/dwd_order")

Spark 1.2.1 不显式配置时默认 SIMPLE。生产切换索引前必须用回放数据验证重复 Key、跨分区修正、Delete 和写入 SLA,而不是只看一条 SQL 成功。

Flink——参数用 index.type,不要混写 Spark 名称

CREATE TABLE dwd_order (
  order_id STRING,
  status STRING,
  amount DECIMAL(18, 2),
  update_ts BIGINT,
  dt STRING,
  PRIMARY KEY (order_id) NOT ENFORCED
) PARTITIONED BY (dt)
WITH (
  'connector' = 'hudi',
  'path' = 's3://lake/dwd_order',
  'table.type' = 'MERGE_ON_READ',
  'index.type' = 'GLOBAL_RECORD_LEVEL_INDEX', -- 关键:Flink 参数不是 hoodie.index.type
  'metadata.enabled' = 'true',                -- 关键:Flink RLI 必须启用 Metadata Table
  'index.global.enabled' = 'true',             -- 关键:跨分区按 order_id 唯一
  'index.bootstrap.enabled' = 'false'          -- 直接访问 MDT,不启动本地 RocksDB Bootstrap
);

Flink 默认 FLINK_STATE,它适合单作业持续写入;选择 Global RLI 是因为多个写入任务需要共享表级映射,而不是因为 RLI 永远最快。

补充概念:Metadata Table 不是“所有索引”的同义词

Metadata Table 是每张 Hudi 表内部的一张 MOR 表,不同分区承载 files、column_stats、record_index 等多模索引。RLI 的确落在 record_index/,但 SIMPLE、BUCKET、FLINK_STATE 的工作方式并不等于“读取 MDT Record Index”;查询侧 Column Stats 也不等于 Writer-side RLI。

从 1.2.0 起,关闭某个 Metadata 索引后,hoodie.metadata.auto.delete.partitions=true 默认可能自动删除对应分区。多 Writer 若配置不一致,一个 Writer 关闭索引可能破坏其他 Writer 的预期,因此所有 Writer 和表服务必须统一配置;变更前停写或按并发控制方案操作,并确认是否保留自动删除。

真实项目建议——先用业务约束缩小候选,再压测

以 MySQL 订单 CDC 为例,可以分三步落地。第一步写清契约:order_id 是否全局唯一,dt 是否可能因补数或时区修正而变化,订单更新是集中最近 3 天还是会随机回写半年以前。第二步留下两个候选:不跨分区且更新随机,Spark 先比较 SIMPLE 与分区 RLI;跨分区唯一且表已到十亿级,优先比较 GLOBAL RLI,而不是先上高运维成本的 HBase;近期更新占 95% 且 Key 有时间顺序,再把 BLOOM 加入压测。第三步回放一天真实 Binlog,同时观察索引 Lookup 耗时、Shuffle、候选文件数、端到端 P99、MDT 增长、Checkpoint 或 Clustering 成本,并构造订单迁移分区与删除用例。

小表也别过度设计:如果订单表只有几千万行、每天更新几万条,SIMPLE 已满足 10 分钟 SLA,引入 RLI 可能只是多一套 Metadata 运维。反过来,百亿级表随机更新、SIMPLE Join 已成为瓶颈时,就不该因为“默认最稳”拒绝 RLI。选型目标不是跑分第一,而是在正确性、延迟、资源和运维之间达到业务可接受的总成本。

完整选型决策树

官方参考

常见追问

Global Index 是否一定比 Non-Global 慢?

不一定。Global 描述的是查找范围和唯一性语义,不是具体算法。GLOBAL_SIMPLE、GLOBAL_BLOOM 在大表上可能因候选范围扩大而更贵,但 GLOBAL_RECORD_LEVEL_INDEX 通过 Metadata Table 保存 Key 到 File Group 的映射,不需要把“全局”机械理解为每批都扫全表。正确比较要看索引实现、Key 数量、MDT 规模、缓存命中和真实写入延迟,还要把跨分区迁移的正确性收益算进去,不能只比较单批吞吐。

为什么随机更新时 SIMPLE 可能比 BLOOM 更好?

Bloom 只有先排除大量文件才划算。随机 Key 散布在全表时,Key 范围重叠大、多个 Bloom Filter 都可能给出候选,前置探测、假阳性和 Shuffle 成本叠加后,最终仍要核对大量文件。SIMPLE 不做这轮剪枝,直接把输入 Key 与目标分区文件中的 Key 做 Join,路径更直接,所以它应作为压测基线,而不是被名称上的“简单”误判为低性能。

Bucket Index 扩容为什么不能只改桶数?

Simple Bucket 的 Hash 结果依赖桶数,直接从 64 改成 128 会让同一 Key 推导到不同 File Group,旧数据与新路由不一致,可能造成重复或漏更新。Partition-Level Bucket 也要提前估算各分区规模。需要在线扩缩时可考虑 Consistent Hashing Bucket,通过 Clustering 重组 File Group,但它只兼容 MOR;Flink 能调度计划,执行 Clustering 仍依赖 Spark,必须把跨引擎运维、失败恢复和历史 File Group 重写成本纳入方案。

关闭 Metadata 索引有什么生产风险?

Hudi 1.2.0 起,Writer 配置里禁用某个 Metadata 索引时,默认可能自动删除对应 MDT 分区。多 Writer 配置不一致时,一个任务的“关闭”可能把另一个任务仍依赖的 record_index 或统计分区删掉。生产变更应统一所有 Writer 与表服务配置,核对 hoodie.metadata.auto.delete.partitions,结合锁与并发控制执行,并在重新启用前确认清理和重建状态;变更窗口还要监控索引分区是否完整、写入是否降级以及重复 Key 是否异常增长。

相关题目