Doris Nereids 优化器是什么?RBO、CBO 和统计信息有什么关系?
这道题考什么
同一条 SQL 可以有很多等价执行方式:先关联哪张表、使用 Broadcast 还是 Shuffle、先聚合还是先 Join、哪些分区和列可以提前裁剪。SQL 写法只描述想要什么结果,优化器负责决定如何更高效地执行。
Doris 的 Nereids 优化器并不是一个只靠固定规则改写 SQL 的模块,也不是简单地给所有计划计算一次成本。它是一套覆盖解析、绑定、逻辑改写、计划搜索和物理计划生成的现代优化框架。
一句话回答
Nereids 是 Doris 基于 Cascades 思想构建的查询优化器:RBO 先用确定性规则做列裁剪、谓词下推和常量折叠等改写,CBO 再基于表和列统计信息估算不同 Join 顺序、数据分布与执行算子的成本,从候选计划中选择代价更低的物理执行计划。
面试回答模板
Nereids 是 Doris 的新一代查询优化器,整体采用 Cascades 思想。SQL 会先经过解析和语义绑定形成逻辑计划,然后 RBO 用固定规则做常量折叠、列裁剪、谓词下推和分区裁剪;接着 CBO 基于行数、NDV、最值、NULL 数量和列宽等统计信息,估算不同 Join 顺序、Broadcast 或 Shuffle 分布方式以及物理算子的成本,最后选出物理计划并生成 Fragment。RBO 和 CBO 不是二选一,前者负责确定性的等价改写,后者负责依赖数据规模的成本决策。排查计划问题时,我会先看 EXPLAIN,再用 Profile 对比估算行数和实际行数,重点检查统计信息是否过期、数据是否倾斜以及列之间是否存在相关性。
图解
一条三表关联 SQL 在 Nereids 里怎么变成计划
- 解析绑定:得到逻辑计划:Parser 把 SQL 解析成语法树,Binder 查清表、列、函数和类型,得到一棵按 SQL 字面写法排的逻辑计划:先 o ⋈ u,再 ⋈ c,WHERE 条件整块挂在 Join 上面。此时还没做任何优化。
- RBO:下推、分区裁剪:WHERE 被拆成两个条件:dt 条件推到订单表的 Scan,变成分区裁剪,只读当天分区;province 条件推到城市表的 Scan。这类改写结果等价、收益确定,不需要知道表有多少行。
- RBO:列裁剪:上层只用到 city 和 pay_amount,以及 Join 键 user_id、city_id。其他列不读也不传。dt 已在分区裁剪时用掉。到这里 RBO 把计划清理干净,后面 CBO 的搜索空间更小。
- CBO:用统计信息估行数:CBO 不会把每个计划都跑一遍,而是按统计估算。城市表 340 行、province 有 34 个不同值,等值过滤按 NDV 粗估约 10 行(实际浙江 11 个市)。订单表按分区统计估出当天约 3000 万行。
- CBO:选 Join 分布方式:CBO 枚举 Join 顺序和分布方式,按估算行数算成本。订单和用户两边都是千万级,复制哪一边都贵,就按 user_id 重分布;城市表只有约 10 行,复制到每个 BE 几乎不花钱。
- 物理计划切成 Fragment:选定的物理算子在需要换数据分布的地方插入 Exchange,整棵树按 Exchange 切成多个 Fragment,分发到各 BE 并行执行。聚合拆成局部和全局两段,先在本地减少数据再传。
- 统计过期:误广播大表:用户表大批量导入后没重新收集统计,优化器还以为它只有 10 万行,于是选择把它广播。实际 5000 万行被复制到每个执行节点,网络和内存被打满,严重时 OOM。
- 估算对不上就重收统计:EXPLAIN 看的是执行前的估算行数,Profile 看执行后的实际行数。两者差几百倍,说明统计失真。重新 ANALYZE 后再看 EXPLAIN,计划回到 Shuffle。差距不大时,再去查倾斜、I/O 和并发。
RBO 和 CBO:各自负责哪类优化
| RBO | CBO | |
|---|---|---|
| 依据 | 等价改写规则 | 统计信息 + 成本模型 |
| 统计 | 基本不用 | 强依赖 |
| 典型 | 谓词下推 列裁剪 分区裁剪 | Join 顺序 Broadcast / Shuffle |
| 结果 | 确定、稳定 | 随数据量 和统计变化 |
| 风险 | 规则固定 不随数据变 | 统计错了 就会选错计划 |
| 先后 | 先做 清理计划 | 后做 在候选里挑 |
一、为什么需要查询优化器
例如三张表关联:
SELECT c.city, SUM(o.pay_amount)
FROM fact_order o
JOIN dim_user u ON o.user_id = u.user_id
JOIN dim_city c ON u.city_id = c.city_id
WHERE o.dt = '2026-09-20'
AND c.province = '浙江'
GROUP BY c.city;
至少有以下选择需要做:
- 先关联订单和用户,还是先过滤城市再关联用户?
- 小城市维表是否可以 Broadcast 到各个 BE?
- 订单表是否能先裁剪到当天分区?
province条件能否尽早下推?- 聚合是否可以分成局部聚合和全局聚合?
如果执行顺序不合理,中间数据可能从百万行膨胀到几十亿行。优化器的价值,就是在结果等价的前提下减少扫描、网络、内存和 CPU 消耗。
二、Nereids 是什么
Nereids 是 Doris 的新一代查询优化器,整体采用 Cascades 优化框架的思想。Cascades 的核心不是固定地从上到下改写一次,而是把等价逻辑表达保存在搜索空间中,通过规则产生候选计划,再利用成本模型挑选物理实现。
可以把 Nereids 分成几个阶段:
- Parser:把 SQL 解析为语法结构。
- Binder/Analyzer:解析表、列、函数、类型和权限,完成语义绑定。
- Logical Rewrite:通过规则简化逻辑计划。
- Cost-Based Optimization:枚举 Join 顺序和物理实现,估算成本。
- Physical Plan:选择 Scan、Join、Aggregate、Exchange 等物理算子。
- Fragment Generation:把计划拆成可以分布式执行的 Fragment。
三、RBO 做什么
RBO 是 Rule-Based Optimization,即基于规则的优化。它依赖预定义且通常具有确定收益的等价变换,不需要精确知道每张表有多少行。
常见规则包括:
- 常量折叠:
1 + 2直接化为3。 - 谓词下推:尽量把过滤条件推到 Scan 或 Join 输入侧。
- 列裁剪:下游没用到的列不再读取和传输。
- 分区裁剪:只扫描符合分区条件的数据。
- 子查询改写:把某些
IN、EXISTS改成 Semi Join 等形式。 - 冗余表达式消除:删除无意义的投影、排序或重复计算。
例如:
SELECT user_id
FROM fact_order
WHERE dt = '2026-09-20'
AND pay_amount > 100;
RBO 可以让 Scan 只读取 user_id、dt、pay_amount 三列,并只访问对应日期分区,把 pay_amount > 100 尽量下推到存储层。
四、CBO 做什么
CBO 是 Cost-Based Optimization,即基于成本的优化。很多选择没有“永远正确”的固定答案,例如 Broadcast Join 是否更好,取决于右表过滤后究竟有多大。
CBO 会:
- 估算 Scan、Filter、Join 和 Aggregate 之后的行数。
- 枚举不同 Join 顺序。
- 比较 Broadcast、Shuffle、Colocate 等分布方式。
- 综合 CPU、内存、网络和 I/O 等代价。
- 从候选计划中选择估算成本更低的一种。
五、RBO 和 CBO 有什么区别
| 对比维度 | RBO | CBO |
|---|---|---|
| 全称 | Rule-Based Optimization | Cost-Based Optimization |
| 判断依据 | 预定义等价改写规则 | 统计信息和成本模型 |
| 是否依赖统计信息 | 通常不强依赖 | 强依赖 |
| 典型任务 | 谓词下推、列裁剪、常量折叠 | Join 重排、分布方式、物理算子选择 |
| 优化结果 | 通常确定、稳定 | 随数据规模和统计信息变化 |
| 搜索空间 | 相对有限 | 可能很大,需要剪枝 |
| 主要优点 | 快、稳定、容易解释 | 能针对真实数据规模选计划 |
| 主要风险 | 固定规则无法覆盖数据差异 | 统计信息错误会选错计划 |
二者不是替代关系。实际流程通常是先用 RBO 清理和简化计划,再让 CBO 在更合理、更小的搜索空间中做成本决策。
六、统计信息为什么重要
CBO 不是直接运行每个候选计划再比较,而是根据统计信息估算。常见统计信息包括:
- 表行数
row_count - 数据大小
data_size - 列的不同值数量
ndv - 最小值、最大值
- NULL 数量或比例
- 平均列宽
- 直方图等数据分布信息
假设优化器误以为一个维表只有 10 万行,实际过滤后却有 2 亿行,就可能错误选择 Broadcast Join,把大量数据复制到每个执行节点,最终导致内存压力甚至 OOM。
可以主动收集并查看统计信息,常见操作示意如下:
ANALYZE TABLE fact_order WITH SYNC;
SHOW TABLE STATS fact_order;
SHOW COLUMN STATS fact_order;
不同 Doris 版本的统计信息语法和展示字段可能不同,应以当前版本为准。重点不是死记命令,而是建立意识:大批量导入、分区替换、Schema Change 或数据分布明显变化后,旧统计信息可能已经失真。
七、为什么有统计信息仍可能选错计划
统计信息准确并不意味着估算一定准确,常见原因包括:
- 列相关性:
省份和城市高度相关,但简单模型可能按独立条件相乘。 - 数据倾斜:NDV 相同不代表每个值频次均匀,热点值会放大 Join 结果。
- 复杂表达式:UDF、函数转换和复杂谓词难以准确估算选择率。
- 统计过期:数据已经增长十倍,统计仍停留在历史状态。
- 采样误差:大表采样可能漏掉长尾或热点分布。
因此慢查询排查不能只说“已经 ANALYZE 过”。还要对比 EXPLAIN 的估算行数与 Profile 的实际行数。
八、EXPLAIN 和 Profile 分别看什么
EXPLAIN 主要回答“优化器准备怎么执行”,Query Profile 主要回答“实际执行时发生了什么”。
| 工具 | 观察阶段 | 重点内容 | 典型用途 |
|---|---|---|---|
| EXPLAIN | 执行前 | Scan、Join 顺序、Join 分布、Exchange、估算行数 | 判断计划是否合理 |
| EXPLAIN VERBOSE | 执行前 | 更完整的表达式、分区、列与物理属性 | 深入理解计划 |
| Query Profile | 执行后 | 实际行数、耗时、内存、网络、算子阻塞 | 定位真实瓶颈 |
排查思路是:先用 EXPLAIN 看是不是计划方向就错了,再用 Profile 判断实际瓶颈是否与估算一致。
九、常见误区
误区 1:Nereids 就是 CBO
不准确。Nereids 覆盖从解析、绑定、规则改写到成本搜索和物理计划生成的完整流程,CBO 只是其中的重要阶段。
误区 2:有 CBO 后就不需要写好 SQL
优化器只能在语义等价的范围内改写。无谓的笛卡尔积、隐式类型转换、复杂 UDF 和错误的数据模型仍会限制优化空间。
误区 3:统计信息越多越好
收集统计也有计算成本。应优先保证大表、Join Key、过滤列和高频查询涉及列的统计质量,而不是无差别高频全量收集。
误区 4:执行计划变化就是优化器不稳定
统计信息、数据量、会话变量和 Doris 版本变化,都可能让最优计划发生变化。关键是新计划是否符合当前数据规模,而不是必须永远固定。
十、优化器问题怎么排查
总结
理解 Nereids 时,不要把它缩成一句“Doris 的 CBO”。完整链路是:RBO 先把计划改写得更干净,CBO 再借助统计信息在候选计划中做选择,最终生成分布式物理执行计划。
当查询计划异常时,最有效的排查闭环是:看 EXPLAIN、核对统计信息、执行后看 Profile、比较估算与实际,再判断问题来自 SQL、统计、数据分布还是执行资源。
常见追问
1. 没有统计信息时 CBO 还能工作吗?
可以使用默认估算或已有元数据继续生成计划,但准确性会下降,尤其容易误判 Join 顺序和 Broadcast 表大小。
2. NDV 有什么作用?
NDV 表示列中不同值的数量,常用于估算等值过滤和 Join 的选择率。例如 NDV 很大时,单值等值过滤通常更有选择性,但还要考虑数据倾斜。
3. 为什么表行数准确,Join 结果仍估算错误?
因为 Join 基数还受键值分布、热点值、列相关性和 NULL 比例影响。只有总行数并不足以描述这些特征。
4. Broadcast Join 一定比 Shuffle Join 快吗?
不是。小表 Broadcast 可以避免大表重分布,但广播表太大时会占用每个节点的网络和内存。正确选择依赖过滤后的真实数据量。
5. 收集统计信息会影响线上查询吗?
统计信息收集需要扫描或采样数据,会消耗计算和 I/O 资源。应根据数据变化频率安排自动或手动收集,并避开业务高峰。