Hive EXPLAIN 执行计划怎么看?Stage、Operator 和依赖关系怎么分析
这道题考什么
这是 Hive SQL 调优中最能看出实战经验的一道题。很多人执行过 EXPLAIN,看到几百行输出后只找“有几个 Stage”,却说不清 root stage 是否并行、ReduceSinkOperator 为什么通常代表 Shuffle、两个 GroupByOperator 为什么不是重复计算,以及分区裁剪和谓词下推到底有没有生效。真正的读法不是从第一行硬啃到最后一行,而是按 Stage 依赖 → Stage 类型 → Operator 数据流 → 关键属性和统计信息 四层逐步缩小范围。
一句话回答
Hive EXPLAIN 展示 SQL 编译后的执行计划,经典输出主要包括 Stage Dependencies 和 Stage Plans:先通过依赖图判断哪些 Stage 是根节点、串行还是可并行,再进入每个 Stage 按数据流阅读 Operator Tree,重点检查 TableScan 的分区与列裁剪、Filter 条件、Join 策略、GroupBy 模式、ReduceSink 的分区排序与 Shuffle,以及 FileSink 的输出位置;最后结合 CBO 统计、向量化和实际运行信息判断计划是否合理。
面试回答模板
面试官:Hive EXPLAIN 执行计划怎么看?
你:我一般分四层看。第一层看 Stage Dependencies,确认 root stage、前后依赖和哪些阶段可以并行,同时分清计算 Stage 与 Move、Stats、Fetch 等非计算任务。第二层进入每个 Stage 的 Operator Tree,沿数据流从 TableScan 往 FileSink 看。第三层抓关键算子:TableScan 看分区和列裁剪,Filter 看是否尽早下推,ReduceSink 看 Shuffle Key、排序和 Reducer,GroupBy 看 partial/final 模式,Join 看 MapJoin 还是 Common Join,FileSink 看动态分区和文件数。第四层结合 CBO 统计、VECTORIZATION 和实际 UI 指标验证。EXPLAIN 是静态计划,最终还要用扫描量、Shuffle、Spill 和 Task 分布确认瓶颈。
图解
沿一份 EXPLAIN 输出,从依赖读到算子
- 先看 Stage 依赖:按 dt、pay_status 过滤后按 user_id 汇总 GMV。依赖只有两行:Stage-1 是 root,不依赖别人,先跑;Stage-0 依赖 Stage-1。编号只是标识,顺序以依赖为准。
- 认出每个 Stage 的类型:Stage-1 写着 Map Reduce,下面有 Map Operator Tree 和 Reduce Operator Tree,是一个带 Shuffle 的作业。Stage-0 不计算,只把结果文件读回客户端。如果改成 INSERT OVERWRITE,这里会变成 Move,往往还多一个 Stats 阶段。
- TableScan:读了多少:估算行数只按 dt=2026-09-27 这一个分区算,说明分区裁剪生效了。普通 EXPLAIN 不列分区名,要确认具体读了哪些分区,用 EXPLAIN DEPENDENCY 看 input_partitions。
- 过滤紧跟着扫描:Filter 紧挨着 TableScan,说明条件在 Map 端最早的位置就执行了。Select 只留下 user_id、amount 两列,ORC / Parquet 表只需要读这两列。
- Map 端预聚合:hash:hive.map.aggr 默认开启,每个 Mapper 用哈希表把本地相同 user_id 的 amount 先求和。如果哈希表条数和输入行数之比超过 hive.map.aggr.hash.min.reduction(默认 0.5),运行时会自动关掉这一步。
- 找到 Shuffle 边界:_col0 就是 user_id:按它分区,同一用户的局部和发到同一个 Reducer,并按它升序排序。value expressions 是局部和 _col1。看到这个算子,就意味着要落盘、走网络。
- 合并:mergepartial:输入不再是原始行,而是各 Mapper 的局部和(VALUE._col0),这里把它们再加一次得到最终 GMV。两个 Group By 不是重复计算:一个在 Map 端预聚合,一个在 Reduce 端合并。
- 写出,再由 Stage-0 取回:File Output 把结果写进临时目录,Stage-1 结束后 Stage-0 的 Fetch 把它读回来。这条 SQL 最终只有 1 次 Shuffle,结构合理。
- 统计缺失时估算不可信:没收集过统计时,行数按文件大小粗估,后面的 Join 策略和 Reducer 数都会跟着估偏,本该走 MapJoin 的小表可能被当成大表。先执行 ANALYZE TABLE … COMPUTE STATISTICS FOR COLUMNS,再看计划。
两个 Group By 的 mode,反推聚合方式
| 默认 | 开 skewindata | 关 map.aggr | |
|---|---|---|---|
| Map 端 | mode: hash | mode: hash | 无 Group By |
| 第一次 Shuffle | 按 group key | 按 rand() 随机分 | 按 group key |
| Reduce 端 | mergepartial | partials 再 final | complete |
| MR 作业数 | 1 个 | 2 个 | 1 个 |
| 适合 | 大多数聚合 | 少数 key 特别大 | 本地几乎 无重复 key |
先看一个例子:同一句 SQL 会被拆成什么?
EXPLAIN
SELECT user_id, SUM(amount) AS gmv
FROM dwd_order
WHERE dt = '2026-09-27'
AND pay_status = 'PAID'
GROUP BY user_id;
逻辑上只写了扫描、过滤和聚合,物理执行中却可能出现:
这里两个 GroupBy 并不重复:第一个先在 Map 端做局部聚合,减少 Shuffle 数据;第二个把同一 user_id 来自不同 Mapper 的局部结果合并成最终值。
类比:EXPLAIN 像施工图。Stage Dependencies 是楼栋之间的施工顺序,Operator Tree 是每栋楼内部的工序。只数楼栋,不看里面有没有大规模搬运和返工,无法判断工程为什么慢。
一、先认识 EXPLAIN 的几种用法
最常用的是普通执行计划:
EXPLAIN SELECT ...;
Hive 还提供多种扩展方式,具体支持情况与版本、执行引擎有关:
EXPLAIN EXTENDED SELECT ...;
EXPLAIN CBO SELECT ...;
EXPLAIN VECTORIZATION SELECT ...;
EXPLAIN DEPENDENCY SELECT ...;
EXPLAIN AUTHORIZATION SELECT ...;
EXPLAIN LOCKS SELECT ...;
EXPLAIN ANALYZE SELECT ...;
| 类型 | 主要看什么 | 适合解决的问题 | 注意点 |
|---|---|---|---|
| 普通 EXPLAIN | Stage 与 Operator | 日常判断扫描、Join、Shuffle | 最先使用 |
| EXTENDED | 更多物理属性、文件等 | 深入定位路径和序列化信息 | 输出很长 |
| CBO | 优化器关系表达与成本信息 | Join 顺序、统计信息是否参与 | 依赖统计准确性 |
| VECTORIZATION | 向量化支持与不支持原因 | 为什么没有走批量执行 | 与格式和表达式有关 |
| DEPENDENCY | 输入表、分区依赖 | 血缘和输入范围确认 | 不是完整执行计划 |
| AUTHORIZATION | 权限需求 | 权限报错预判 | 依赖授权模式 |
| LOCKS | 需要申请的锁 | 事务并发排查 | 新版本能力 |
| ANALYZE | 估算与真实运行信息 | 估算偏差与运行瓶颈 | 会实际运行,应谨慎 |
不要一上来就用 EXTENDED 淹没自己。通常先看普通 EXPLAIN,发现统计或算子异常后,再针对性使用 CBO、VECTORIZATION 或 ANALYZE。
二、第一步看 Stage Dependencies:谁先跑、谁后跑?
经典 Hive EXPLAIN 通常有类似输出:
STAGE DEPENDENCIES:
Stage-1 is a root stage
Stage-3 is a root stage
Stage-2 depends on stages: Stage-1, Stage-3
Stage-0 depends on stages: Stage-2
它可以画成:
root stage 是什么意思?
root 表示它不依赖其他 Stage,可以直接启动。多个 root stage 在资源和配置允许时可能并行执行,但“都是 root”不等于一定同时跑,实际还受 hive.exec.parallel、线程数、执行引擎和集群资源影响。
Stage 不一定都是计算任务
常见 Stage 类型包括:
- MapReduce、Tez 或 Spark 计算 Stage;
- Move Task:把临时结果移动或提交到目标目录;
- Stats Task:收集或更新统计信息;
- DDL Task:执行元数据操作;
- Fetch Task:直接读取少量结果,不启动分布式计算。
因此看到 Stage-0 不要默认它是第一个运行,也不要默认每个 Stage 都有 Mapper 和 Reducer。编号是标识,真正顺序看 Dependencies。
三、第二步看 Stage Plans:每个 Stage 内部做什么?
一个计算 Stage 中通常有 Map Operator Tree 和 Reduce Operator Tree。阅读时沿箭头从上游输入往下游输出走。
如果一个 Stage 只有 Map Operator Tree,没有 Reduce Operator Tree,通常是 Map-only 任务,例如简单过滤、列转换后直接写出。出现 ReduceSink 和 Reduce Operator Tree,说明需要重新分区、排序或聚合,通常会发生 Shuffle。
四、关键 Operator 应该看什么?
1. TableScanOperator:到底扫描了什么?
重点检查:
- 表名和别名;
- 实际选择了哪些分区;
- 读取了哪些列;
- 是否带上了过滤表达式和统计行数;
- 输入文件格式与扫描方式。
假设表有 365 个日分区,SQL 只查一天。如果计划仍显示全表或大量分区,优先检查:
- 是否直接对分区列做函数转换;
- 分区字段类型与常量类型是否匹配;
- 条件是否被复杂表达式包裹;
- Metastore 是否存在正确的分区元数据。
2. FilterOperator:条件有没有尽早执行?
Filter 越靠近 TableScan,越能尽早减少后续数据。对 ORC、Parquet 等格式,还要判断条件是否可以下推到文件读取器,利用 min/max、Bloom Filter 等统计跳过数据。
3. SelectOperator:是否真的只读必要列?
Select 表示投影和表达式转换。列式文件配合列裁剪可以减少 I/O。如果 SQL 写了 SELECT *,后续只使用两列,计划未必总能完全消除所有无用读取,尤其涉及 UDF、嵌套结构或复杂子查询时,应查看实际输出列。
4. ReduceSinkOperator:最值得关注的 Shuffle 边界
ReduceSink 常见职责是:
- 按 Join Key 或 Group Key 分区;
- 生成 Shuffle Key 和 Value;
- 指定排序列与顺序;
- 把数据发送到下一个 Reduce 阶段;
- 影响 Reducer 数量和网络数据量。
重点看:
key expressions:按什么 Key 分组或 Join;partition columns:按什么字段分发到 Reducer;sort order:是否存在全局或分区内排序;value expressions:Shuffle 携带了哪些列;- 估算行数和数据量是否异常。
5. GroupByOperator:看 mode,不只看名字
常见模式可理解为:
PARTIAL1:Map 端第一次局部聚合;PARTIAL2/MERGEPARTIAL:合并局部状态;FINAL:生成最终聚合结果;COMPLETE:一个阶段内完成聚合。
如果 Map 端 GroupBy 输入 1 亿行,输出仍接近 1 亿行,说明 Key 本地重复度低,Map 端聚合收益有限;如果输出降到 500 万行,说明明显减少了 Shuffle。
6. JoinOperator / MapJoinOperator:Join 策略是否符合预期?
Map Join Operator:小表被加载到内存,通常避免大表 Shuffle;- Common Join:多路数据经 ReduceSink 按 Join Key Shuffle 后在 Reduce 端关联;
- SMB/Bucket Join:依赖桶数、桶字段、排序和真实文件布局。
若预计小表只有 20 MB,却出现 Common Join,应检查统计信息是否缺失或过期、自动 MapJoin 阈值是否合适、Join 条件是否支持转换。
7. FileSinkOperator:结果写到哪里?
关注输出表、目录、文件格式、压缩、动态分区和写入方式。很多 SQL 计算已经完成,最终却慢在大量动态分区、小文件或 Move/Commit 阶段,不能只盯 Shuffle。
| Operator | 核心作用 | 性能关注点 | 常见异常信号 |
|---|---|---|---|
| TableScan | 读取表或分区 | 扫描分区、列、输入量 | 全表扫描、统计不准 |
| Filter | 过滤行 | 是否靠近扫描、能否下推 | Join 后才过滤 |
| Select | 投影与表达式 | 列裁剪、UDF 成本 | 携带大量无用列 |
| GroupBy | 聚合 | partial/final 模式、压缩比 | 局部聚合几乎不减数据 |
| ReduceSink | 分区、排序、Shuffle | Key、数据量、Reducer 数 | 多次大 Shuffle、Key 倾斜 |
| MapJoin | Map 端 Join | 小表大小与内存 | 小表过大导致 OOM |
| Join | Reduce 端 Join | Join 顺序、倾斜、输出膨胀 | 大表先 Join、行数爆炸 |
| FileSink | 写出文件 | 分区数、文件数、压缩 | 小文件爆炸、提交慢 |
五、如何从计划里判断 Stage 边界?
一个 Operator Tree 中出现需要重分布的算子,通常会形成 Stage 边界。例如:
GROUP BY user_id:同一用户必须汇聚;JOIN ON order.user_id = user.user_id:相同 Join Key 要到一起;ORDER BY amount:需要全局有序,常形成单 Reducer 风险;DISTRIBUTE BY:显式决定分区;- 多阶段聚合或不同数据源预处理:可能形成多个 Stage。
优化计划时不是“Stage 越少越好”。为了先聚合再 Join,多一个 Stage 可能大幅减少数据;反过来,把所有逻辑硬塞在一个 Stage 也可能造成内存压力。判断标准是每个 Stage 是否有必要、输入输出是否合理。
六、看一条 Join 计划时怎么排查?
EXPLAIN
SELECT o.dt, u.level, SUM(o.amount)
FROM dwd_order o
JOIN dim_user u
ON o.user_id = u.user_id
WHERE o.dt = '2026-09-27'
GROUP BY o.dt, u.level;
建议按下面顺序检查:
dwd_order是否只扫描目标dt分区;dim_user的统计大小是否准确;- 是否选择 MapJoin,若没有,原因是什么;
- Common Join 时两边 ReduceSink 的 Key 是否为
user_id; - Join 输出行数是否远大于输入,维表主键是否唯一;
- Join 后 GroupBy 是否又产生一次 Shuffle;
- 输出分区和文件数是否合理。
如果 Explain 中估算维表为 0 行或未知,CBO 可能无法选择合理 Join。此时应先检查 ANALYZE TABLE 统计,而不是直接堆 MapJoin Hint。
七、EXPLAIN 能告诉你什么,不能告诉你什么?
| 能看到 | 不能仅靠静态计划确认 |
|---|---|
| Stage 依赖与算子结构 | 实际机器负载和队列等待 |
| 分区裁剪、列裁剪、过滤位置 | 实际数据倾斜程度 |
| Join 策略与 Shuffle Key | 某个 Task 是否因 GC 卡顿 |
| 估算行数、大小和成本 | 真实 Shuffle Bytes 和 Spill |
| 输出目录、格式和压缩 | DataNode 网络或磁盘故障 |
| 是否计划向量化 | 实际运行是否被某些数据降级 |
静态 EXPLAIN 是“计划”,运行日志、Tez UI、Spark UI、YARN 指标和计数器是“现场”。正确流程是先用 EXPLAIN 发现结构问题,再用运行指标验证真实瓶颈。
完整决策树:拿到 EXPLAIN 后怎么读?
参考资料
常见追问
看到 ReduceSinkOperator 就一定有一个新的 Reducer Stage 吗?
它通常代表数据需要按 Key 重新分区、排序并发送到下游,是判断 Shuffle 的重要信号。但最终 Stage 划分会受执行引擎和优化器影响,Tez、Spark 与传统 MapReduce 的物理 DAG 展示也可能不同。因此不能只数 Operator 名称,要结合 Stage Plans、Reduce Operator Tree 和引擎实际 DAG 一起判断。
为什么 EXPLAIN 显示两个 GroupByOperator?
常见原因是两阶段聚合:Map 端 PARTIAL1 先对本地相同 Key 聚合,减少网络数据;Shuffle 后 Reducer 端 FINAL 再合并不同 Mapper 的局部结果。对于平均值,局部状态可能是 sum 和 count,最终才相除。两个 GroupBy 通常是优化,不是重复做同一遍无效工作。
为什么 SQL 写了分区条件,计划仍扫描很多分区?
可能是对分区列套了函数、发生隐式类型转换、条件藏在优化器无法识别的复杂表达式中,或者 Metastore 分区统计和元数据异常。例如 date_format(dt,...) 往往不如直接对原分区列做范围过滤。应查看 TableScan 中实际选择的分区,而不是只确认 SQL 文本里“写了 dt”。
EXPLAIN CBO 的成本越小,任务就一定越快吗?
不一定。成本是基于统计信息和模型的估算;如果表行数、列基数、NDV 或文件大小过期,优化器可能得出错误 Join 顺序。真实运行还受倾斜、网络、磁盘、队列和缓存影响。CBO 适合比较候选计划,但必须维护统计并通过运行指标验证。
为什么最终还有一个 Move Stage?
Hive 通常先把 Task 输出写到临时目录,计算成功后再移动、重命名或提交到目标表目录,避免失败任务把半成品暴露给读者。Move Stage 可能还涉及动态分区装载和最终提交。它不是多余计算;如果长期耗时很高,应检查小文件数量、对象存储重命名成本和提交协议。