任务平时 20 分钟,今天 3 小时怎么排查?

这道题考什么

面试官更关心你能否把 3 小时拆成调度等待、资源排队、计算运行和提交发布,再拿同一业务范围的历史基线确认变化发生在哪一段。只盯着某个慢 task 就加资源,或者把所有慢都归因于数据倾斜,最后常常既没找到根因,也丢了现场证据。

一句话思路

先固定业务日期、实例、代码和输入范围,按墙钟时间拆出等待、排队、运行、发布四段,再对照计划分区、实际分区、候选文件、reader / task input、FileScan numOutputRows、去重结果和 stage / task 指标形成假设,用单变量、可回退的措施验证,最后以结果等价、质量、幂等、并发写保护和下游发布都通过作为恢复标准。

面试回答模板

面试官:任务平时 20 分钟,今天跑了 3 小时,你怎么排查?

你:我先确认这 3 小时是仍在运行,还是已经完成但提交、发布或下游刷新用了很久,然后把墙钟时间拆成调度等待、资源排队、计算运行和提交发布。接着固定业务日期、实例、代码版本和输入快照,和同口径成功实例比较计划分区、实际分区、候选文件、reader / task input、FileScan numOutputRows、去重后行数,以及慢 stage 的 task 分布、shuffle、spill、GC、重试和节点 IO。少数 task 拖尾才查倾斜,全体 task 变慢则优先查输入和资源。本案例里计划和实际分区都只有 dt = '2026-11-16',active manifest 却把同一 source_batch_id 的 8 组重写 path 叠在一起,导致候选文件、reader input 和 FileScan numOutputRows 约增到 8 倍;完整键集合指纹和内容指纹与 canonical 组一致,DWD 按 order_item_id 去重后仍是 4.20 亿行,这些证据共同支持业务截点完整但输入重复。我会按 source_cutoff、manifest_hash、完整 path 列表和批次选择 canonical manifest,在隔离位置做单变量修复;验收行数、唯一性、店铺汇总和 gmv 后,再检查幂等、版本栅栏和旧 writer fencing,最后发布 DWS / ADS。没有测量就不编收益,紧迫 SLA 下升级和恢复并行推进。

还原场景

小点优选每天把支付成功订单加工成经营看板。本文用 2026-11-16 业务日举例,处理时刻均按 Asia/Shanghai 记录。链路是:

  • ods_trade_order_di 按 dt 保存订单接入数据。
  • dwd_trade_order_detail_di 清洗支付成功订单,一行代表一个订单明细,order_item_id 是明细唯一键,gmv 是明细粒度的可加交易规模。
  • dws_trade_shop_pay_1d 按店铺汇总明细。
  • ads_trade_dashboard_1d 提供经营看板。

正常情况下,dwd_trade_order_detail_di 从提交到完成约 20 分钟。今天值班看到实例已经持续 3 小时,业务问“是不是 Spark 任务挂了”。这句话还不能直接当作问题定义:3 小时可能包含了 2 小时 40 分钟的资源排队,也可能是任务已经运行 3 小时仍未结束;即使计算完成,结果提交、分区发布或下游刷新变慢,也会让业务看到 3 小时。

本题只讨论 Spark 3.5 的离线 SQL / DataFrame 任务边界。案例假设 ods_trade_order_di 是平台 active manifest 管理的普通 Parquet 文件表:任务先解析 manifest 得到 dt = ... 目录下的 path 列表,再用 .option("basePath", tableRoot).parquet(paths) 注册临时视图,保留分区列 dt;示例数值用于说明证据如何串起来,不是平台阈值。示例任务的业务范围、代码版本和目标分区如下:

  • 目标任务:dwd_trade_order_detail_di,dt = '2026-11-16',输入批次是 trade_order_20261116_b01。
  • 任务开始:04:50 提交,04:51 获得资源,04:52 进入计算。
  • 发现时间:07:50,实例仍未完成,墙钟时长 3 小时。
  • 历史基线:同一代码版本、相同输入规模区间的 7 个可比业务日实例,分别读取各自的 dt = ${biz_date},运行时长约 18~22 分钟;它们不是同一个业务日的 7 次重跑。
  • 交付约束:ADS 最晚 08:30 发布,恢复、质量验收和发布都要留出时间。

先用时间线回答“3 小时花在哪里”。图中没有把 task 累加耗时当成墙钟时长,阶段内部的并行 task 也不能直接相加。

读图:如果 04:50 到 04:51 才拿到资源,排队并不是这次慢的主要解释;如果 07:50 之后才进入结果提交,则应转查输出提交、锁等待和下游发布。时间线是定位入口,不是根因结论。

先判断:这是什么问题

先把“3 小时”拆成下面四类。每类都要有开始时间、结束时间和对应系统证据。

阶段 要记录的墙钟区间 关键证据 不能替代它的信号 判断去向
调度等待 提交到调度器接受 DAG 依赖、触发时间、实例状态、重试关系 任务创建成功 先查依赖和错误触发
资源排队 接受到拿到 executor / 容器 队列等待、资源申请和分配时间、队列并发 executor 数量已经配置 查资源负责人,预测是否越过 SLA
运行计算 首个 executor 到计算结束 SQL / stage 时间、task 分布、输入输出和 executor 指标 某个 task 看起来很慢 进入运行诊断
提交发布 计算结束到目标可读 输出提交、锁、commit、分区发布、下游刷新日志 Spark application SUCCESS 查写入和发布链路

如果实例还在 RUNNING,先确认它是在等资源、等 stage,还是 executor 仍有进度;如果实例已经 SUCCESS 但业务用了 3 小时,重点就转到结果提交、发布锁、元数据操作和下游刷新。两种情况的处置方式不同,不能把“已完成时长”和“仍在运行时长”混在一起。

还要先确认四个范围键:biz_date、目标分区 dt、代码版本和输入快照 / 批次。比较基线必须使用同一业务范围。今天如果多读了 30 天分区,或者代码换了 join 条件,再拿昨天的 20 分钟作结论,指标对照没有意义。

计划分区、实际分区、候选文件和 reader input 不是一回事

Spark 3.5 的物理计划里可能出现 PartitionFilters。它表示优化器计划使用的分区过滤条件,不能单独证明运行时只读取了预期文件。还要把四件事分开记录:

  1. 计划分区:SQL 或物理计划希望读取哪些分区,例如 dt = '2026-11-16'。
  2. 实际分区:文件索引或数据源运行时真正选中的分区目录。
  3. 候选文件:实际分区下参与文件筛选、统计和扫描的文件清单及总大小。
  4. reader / task input:数据源 reader 和 Spark task 实际读入的字节数、记录数;分别从数据源扫描指标和 stage task 指标取得。
  5. FileScan 输出行数:Spark UI SQL 详情中 FileScan 节点的 numOutputRows,单位是行,不是字节;它只描述该扫描节点输出了多少行,不能代替后续去重或结果表行数。

PartitionFilters 正确,只能说明计划中有过滤表达式。它不等于候选文件数量正常,更不等于 reader / task input 正常。FileScan 的 numOutputRows 也不能当成扫描字节数:后置过滤、投影和去重可能发生在后续节点,结果表行数还要另取输出节点或质量 SQL 的统计。

不能一上来就归因于倾斜

倾斜要看同一 stage 的 task 分布,例如 task 输入、运行时、shuffle read / write 的中位数和高分位数。如果只有少数 task 明显拖尾,且它们对应的 key 或输入分片集中,才有理由继续查倾斜。若绝大多数 task 都同步变慢,应该优先看输入规模、资源、节点 IO、GC、spill、重试和计划变化。

同样,看到某个指标变大也不能直接证明因果:GC 时间变长可能是输入变大后的结果,shuffle spill 变多可能来自并行度变化。要把指标、时间点、同业务范围基线和可逆实验连起来。

处理步骤

步骤 1:锁定实例、版本和墙钟分段

做什么:保存今天实例的 run_id、业务日期、目标分区、代码 commit、SQL 参数、调度配置、Spark 配置、输入快照标识和当前输出位置。把实例时间拆成提交、资源获得、首个 task、每个 stage、计算完成、输出提交和目标可读。

怎么验证:

  • 调度平台显示 04:50 提交、04:51 获得资源,资源等待约 1 分钟。
  • Spark application 从 04:52 开始有 executor 和 stage 活动,说明不是一直排队。
  • 07:50 仍有 stage 未完成,说明本案例当前是“计算仍未结束”,不是已完成后发布慢。
  • 检查是否同时存在人工重跑、自动重试或旧实例写同一分区;把它们记录为并发风险,不要先杀掉证据。

通过:四段时间和实例状态能互相对上,进入步骤 2。失败:时间戳缺失、实例与业务日期不匹配或存在错误触发,先暂停错误实例、保留日志并通知调度负责人。超时:若 10 分钟内无法确认当前阶段,按紧迫 SLA 并行升级调度和任务负责人,同时继续采集,不等取证完成才通知业务。

步骤 2:建立同口径输入和计划基线

做什么:对今天和 7 个可比业务日成功实例保存同一组证据:SQL 文本、代码版本、Spark 配置、计划、计划分区、实际分区、候选文件数量和大小、reader / task input、FileScan numOutputRows、去重后结果行数。对 Spark SQL 使用 EXPLAIN FORMATTED 查看计划,但把计划字段和运行指标分栏保存。

怎么验证:今天的输入范围仍是 dt = '2026-11-16' 和批次 trade_order_20261116_b01,没有隐式读入其他业务日;实际选中的分区也只有该分区。若计划分区和实际分区不同,先查分区字段类型、日期转换、动态分区和数据源过滤下推;若分区一致,再比较候选文件、reader / task input 和 FileScan numOutputRows。

示例 SQL 只用于说明取证口径,未在真实引擎执行。EXPLAIN FORMATTED 展示的是计划,实际分区、候选文件和 reader input 需要从数据源扫描日志、Spark UI 或平台运行指标中取得:

-- 计划层:确认过滤条件是否出现在扫描节点
EXPLAIN FORMATTED
SELECT order_item_id, user_id, shop_id, gmv
FROM ods_trade_order_di
WHERE dt = '2026-11-16'
  AND pay_status = 'SUCCESS';

-- 结果层:只用于结果对照,不替代扫描输入指标
SELECT dt,
       COUNT(*) AS detail_row_cnt,
       COUNT(DISTINCT order_item_id) AS item_cnt,
       SUM(gmv) AS gmv
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
GROUP BY dt;

通过:输入范围一致,继续比较文件与 stage 指标。失败:计划或实际范围扩张,先回退到正确参数 / 代码版本,在隔离输出上重算;不要在未确认范围前加 executor。超时:若文件清单或平台指标 10 分钟内取不到,保留当前实例并升级平台负责人,先用历史 manifest 和已保存的输入快照评估 SLA 风险。

这组对照决定下一步查什么。今天计划分区和实际分区都没有扩大,但候选文件、reader input 和 FileScan numOutputRows 都约为基线的 8 倍;去重后的 order_item_id 数量接近基线,说明重复输入在后置去重节点被压回去了。

读图:计划分区和实际分区都正常,所以“分区裁剪完全失效”不是当前证据支持的结论。active manifest、reader input 和 FileScan numOutputRows 同时放大,而去重后的唯一明细数保持 4.20 亿行,下一步应查 active manifest 的 path 合并记录和上游重写提交;不能把 numOutputRows 当成字节,也不能把后置去重结果当成扫描输出。

步骤 3:先看 stage 和 task 分布,再查具体资源指标

做什么:在 Spark UI 的 SQL、stage 和 executor 视图中,按阶段记录 wall-clock、task 数、成功 / 失败尝试、task duration 的中位数和高分位数、输入记录 / 字节、shuffle read / write、spill memory / disk、GC time、executor lost、节点 IO 等。用阶段的 wall-clock 找拖尾阶段,再看该阶段是少数 task 拖尾还是全体 task 变慢。

怎么验证:本案例的 stage 4 扫描阶段已在 07:04 完成,wall-clock 从可比基线约 9 分钟变为 132 分钟;今天 stage 4 有 25,600 个 task,基线是 3,200 个,约为 8 倍,但不能把 task 数分别等同于 12,800 个和 1,600 个文件。Spark 3.5 会先按文件和切分参数生成 split,再组装 FilePartition,文件数与 task 数不是一一对应。两次运行使用相同读取配置,stage 指标中的 task input 中位数都约为 236 MB;主要变化是 task 波次和总读取量增加,同时观测到节点 IO wait 上升。shuffle spill、失败重试和 GC 占比没有同步跃升,说明 132 分钟来自重复输入带来的波次与 IO 开销,不支持直接归因于数据倾斜。

这里容易混淆:task 累计运行时间可能因为并行执行而远大于 stage wall-clock;stage wall-clock 也可能包含 task 调度、executor 获取和结果汇报。不能把所有 task duration 相加,就说任务运行了几百小时。

如果看到少数 task 的输入或运行时远高于中位数,再按 key、文件和分区检查倾斜;如果全体 task 同步变慢,转查输入、资源、节点 IO、GC、spill 和重试;如果只有 executor 丢失或失败尝试增加,先查节点和重试原因;如果计划节点变化,回到步骤 2 比较统计信息和配置。

通过:找到拖尾 stage,并且指标组合能排除或支持一个候选假设,进入步骤 4。失败:只有一个“慢 task”截图,没有 stage 分布或输入范围,不能下根因结论,回到步骤 2 补基线。超时:若 15 分钟内仍无法确认拖尾 stage,保留 application 现场,按 SLA 升级资源和平台负责人;禁止盲目杀任务后失去原始证据。

步骤 4:用单变量、可回退措施验证假设

做什么:根据证据写成“证据 → 假设 → 措施 → 验收”的短链路,一次只改一个变量,并把结果写入隔离输出。案例中的链路已经收敛到一个根因:

  1. ods_trade_order_di 的普通 Parquet 输入批次 trade_order_20261116_b01 在 04:45 已由源端 manifest 标记完成。该 manifest 的 source_cutoff、manifest_hash、完整 path 列表和 4.20 亿个唯一 order_item_id 构成业务截点基线。
  2. 运行实例读取的平台 active manifest 中,同一 source_batch_id 出现 8 组 path;提交记录显示上游重写任务把新 path 追加进 active manifest,没有从 active 集合移除旧 path。8 组文件的 min/max order_item_id 区间重合,文件数由 1,600 个增至 12,800 个,reader input 由 780 GB 增至 6.2 TB,FileScan numOutputRows 由 4.20 亿行增至 33.6 亿行。
  3. 不能只凭 key 数量和 min/max 认定重复。对 canonical 组和其余 7 组分别核对完整 order_item_id 集合指纹、业务列内容指纹和行数;8 组指纹都与 canonical 组一致。源端完成标志、manifest_hash 和这组内容校验共同证明业务截点完整,DWD 的按 order_item_id 确定性去重后两次结果都是 4.20 亿行。这里的“接近”来自后置去重结果,不能把它和 FileScan numOutputRows 混称。
  4. 修复只选取与源端 source_cutoff、manifest_hash、完整 path 列表和 trade_order_20261116_b01 完全匹配的 canonical manifest,在隔离位置用这组 path 读取并提交新的 active manifest;不物理删除文件,也不能笼统回到“最近可读版本”。若平台无法证明 manifest 与业务截点等价,就阻断发布并升级,不自行回退。
  5. 重新比较候选文件、reader / task input、FileScan numOutputRows、去重后行数、stage wall-clock、task 分布和质量结果。只改 spark.sql.files.maxPartitionBytes 或 openCostInBytes 不能修复 active manifest 的 path 叠加,也不能替代文件集合和内容指纹核对。

怎么验证:验证实验必须固定业务日期、代码版本、过滤条件、canonical path 列表和输出口径。canonical manifest 应恢复到 1,600 个文件、780 GB、FileScan numOutputRows 4.20 亿行,去重后 order_item_id 仍为 4.20 亿行;stage wall-clock 回到可比基线附近,且店铺汇总和 gmv 对账通过,才说明修复有效。没有真实测量,就不能写“性能提升了多少”。

如果证据显示是资源排队,单变量可以是为这次实例申请明确的队列配额,验收是排队时间和 SLA 预算改善;如果是少数 key 倾斜,单变量可以是按业务规则做热点 key 拆分,验收是 task 分布收敛且结果不重复;如果是 GC / spill / 节点 IO,先定位对应 executor 和节点,再做可回退的内存、并行度或节点替换实验。每一种措施都要由对应证据触发,不能把“加资源”当万能答案。

通过:假设得到实验支持,且结果等价、性能达到交付预算,进入步骤 5。失败:性能改善但结果不等价,立即丢弃实验输出,保留正式已确认版本并回滚配置;若性能无变化,撤销本次改动,回到指标分支继续取证。超时:若 20 分钟内实验没有可比结果,停止继续叠加参数,按 SLA 并行升级并准备受控降级方案。

步骤 5:恢复计算并保护写入、重跑和发布

做什么:确认根因后,使用固定的业务日期、代码版本、canonical path 列表和新的 run_id 重算到隔离位置。对本案例,canonical manifest 必须同时匹配 source_cutoff、manifest_hash、完整 path 列表和 trade_order_20261116_b01,再更新 active manifest;不能只按时间回到最近可读版本,也不物理删除旧文件。DQC 和对账通过后,才发布目标分区并触发 DWS、ADS。

怎么验证:

  • 结果质量:检查 order_item_id 唯一性、必填字段、支付状态枚举、gmv 合法性、输入与输出行数关系,并按同一店铺粒度对账。
  • 幂等:相同业务日期和输入快照重跑,结果应可重复;临时输出带 run_id,未通过验收的结果不能覆盖正式版本。
  • 并发写保护:确认正常调度、自动重试和人工重跑不会同时写 dt = '2026-11-16';发布前检查版本锁、提交 token 和版本栅栏。锁过期或被释放不等于旧 writer 已失去提交资格,旧 writer 晚到提交必须被版本冲突或 fencing 拒绝,防止覆盖新结果。
  • 下游发布:确认 dws_trade_shop_pay_1d 和 ads_trade_dashboard_1d 读取的是本次通过验收的版本,缓存、导出和看板刷新完成后再关闭事件。

以下 SQL 只表达验收口径,未在真实 Spark 3.5 集群执行。正式发布要使用已确认的 active manifest 版本、版本栅栏和目标分区发布流程:

-- 在隔离结果中做质量检查
SELECT dt,
       COUNT(*) AS detail_row_cnt,
       COUNT(DISTINCT order_item_id) AS item_cnt,
       SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt,
       SUM(CASE WHEN gmv IS NULL OR gmv < 0 THEN 1 ELSE 0 END) AS invalid_gmv_cnt,
       SUM(gmv) AS gmv
FROM dwd_trade_order_detail_di_stage
WHERE dt = '2026-11-16'
  AND run_id = 'r20261116_02'
GROUP BY dt;

-- 固定同一业务范围和粒度做下游对账
SELECT shop_id, SUM(gmv) AS gmv, COUNT(DISTINCT order_id) AS order_cnt
FROM dwd_trade_order_detail_di_stage
WHERE dt = '2026-11-16'
  AND run_id = 'r20261116_02'
GROUP BY shop_id;

通过:隔离结果质量、对账、幂等检查、并发保护和下游发布全部通过,进入步骤 6。失败:任何强规则失败都保持旧的已确认版本,记录失败版本和证据,修复后使用新 run_id 重算。超时:若距离 08:30 不足以完成完整验收,立即升级业务和调度负责人,明确是否允许受控范围交付;没有业务接受和完整性标识时,不发布未验收结果。

步骤 6:收集证据并关闭事件

做什么:把实例、计划、配置、代码、输入文件清单、stage / task 指标、假设、措施、实验结果、质量结果和发布记录归档。通知任务开发、调度、资源、上游表维护人和看板负责人,写清业务日期、影响范围、根因、恢复时间和后续动作。

怎么验证:确认 ADS 实际读取的发布版本与本次 run_id 一致,业务看到的数据范围和完整性标识与通知一致;若仍有缓存、导出或下游任务未刷新,事件保持打开并继续跟进。

通过:数据消费确认、下游刷新、DQC、对账和证据留档都完成后关闭。失败:保留事件,按未完成发布或质量失败继续升级。超时:紧迫 SLA 下,升级和恢复并行推进,不能因为先发了通知就停止取证或补偿。

事后预防

这次暴露了两个监控缺口:输入变大和运行变慢没有在任务结束前被看见。预防措施围绕这两个缺口展开。

  1. 保存可复现基线:对每个关键任务保留业务日期、代码版本、SQL 参数、Spark 配置、计划、计划分区、实际分区、候选文件、reader / task input、FileScan numOutputRows、去重后结果行数、stage / task 分布。基线按相同业务范围比较,不能只存平均运行时长。
  2. 拆分四段耗时监控:分别监控调度等待、资源排队、计算运行和提交发布。告警里带实例、run_id、biz_date、dt 和当前阶段,避免把资源排队误报成 SQL 慢。
  3. 监控输入与文件布局:对候选文件数、文件总量、平均文件大小、reader / task input、FileScan numOutputRows 和去重后行数做同比和环比;超过业务自身基线时先查 active manifest 的 path 合并记录与上游提交语义,再评估 compaction。
  4. 保存计划和配置版本:代码、SQL、Spark 3.5 配置、active manifest 版本和完整 path 列表要能按 run_id 还原。计划中的 PartitionFilters、运行时实际分区、候选文件、reader input 和 FileScan numOutputRows 分开落档。
  5. 为慢 stage 配置分布告警:同时看 task 数、运行时分位数、输入分位数、shuffle、spill、GC、executor 丢失、重试和节点 IO。少数 task 拖尾与全体 task 变慢走不同的处理路径。
  6. 保护恢复与发布:隔离输出、DQC、对账、幂等检查、目标分区互斥和版本发布做成固定门禁;旧实例不能覆盖新版本,未验收结果不能因为 SLA 紧迫而直接发布。
  7. 保留可回退措施:参数调整、文件重写、快照回退和补跑都记录开始条件、单变量、验收指标和撤销方式。没有测量结果时只报告“已验证 / 未验证”,不写推测收益。

完整处理流程图

完整路径拆成两张连续图。第一张先处理四段墙钟时间:调度 / 资源等待要走依赖或资源处置,计算运行要保留 stage 现场,提交发布要查 commit、锁和下游状态;它们都汇合到“复核预算 / 恢复入口”。第二张从这个入口继续核验输入范围、定位 stage、做实验并发布。范围错配回到基线核验,不能直接跳到 stage。

读图:本案例 04:50~04:51 的资源等待很短,04:52 后进入运行;07:04 已完成的 stage 4 和 07:50 仍运行的 stage 5 要分开记录。若实例已成功但目标不可读,则从提交 / 锁 / 下游状态继续查。

读图:本案例在第二张图的输入复核中确认 canonical path 列表,再由 stage 证据定位到 active manifest 追加了重复文件。修复实验有效后仍要经过质量、幂等、并发和下游发布,任务变绿不等于业务恢复。

常见追问

为什么 `EXPLAIN` 里有分区过滤,任务仍可能读了很多数据?

EXPLAIN 主要描述优化器生成的计划,PartitionFilters 说明计划里有分区过滤条件。运行时仍要确认 active manifest 解析出的 path、实际选中的分区、候选文件清单和 reader / task input。Spark 3.5 FileScan 节点的 numOutputRows 是扫描节点输出行数,不是扫描字节,也不是后置去重结果;文件字节要从选中文件长度或 reader 指标取得,去重结果要从后置节点或质量 SQL 取得。过滤条件可能命中一个分区,但 active manifest 仍可能错误叠加 path。因此要把计划分区、实际分区、候选文件、reader input、FileScan numOutputRows 和去重结果分栏记录,不能用其中一个字段替代其他证据。

怎么判断是数据倾斜,什么时候不能归因于倾斜?

先看同一 stage 的 task 输入和运行时分布。若少数 task 的输入、shuffle read 或运行时远高于中位数,并且能在业务 key 或文件上找到集中来源,才支持倾斜假设。若绝大多数 task 同步变慢,或者 task 数、候选文件和 reader input 一起按比例增加,应先查输入规模、文件布局、资源、节点 IO、GC、spill 和重试。单个慢 task 截图只能说明存在拖尾,不能单独证明倾斜。

为什么不能直接杀掉任务再重跑?

杀任务会丢失当前 executor、stage、文件读取和重试现场,重跑还可能让同一分区出现并发写入或重复输出。先保存实例、计划、配置、指标和输入快照,再根据 SLA 判断是否需要受控停止。必须停止时,为重跑分配新的 run_id 和隔离输出;发布前不仅要确认旧实例的锁已失效,还要让旧 writer 的提交 token 或版本栅栏失效,使它晚到提交时被 fencing 拒绝。结果通过 DQC、对账和并发保护后再发布。若只是排队或上游文件异常,盲目重跑不会消除根因。

输入 reader input 变大,但结果行数接近,说明了什么?

它说明数据源 reader 读入的字节增加,不能直接说明业务结果增加。可能原因包括候选文件重复、文件布局变差、只读少量列但底层文件体积变大、过滤在扫描后才生效,或 active manifest 集合异常。要分别核对 active manifest、选中文件长度、FileScan numOutputRows 和后置去重结果。本案例的证据是同一 source_batch_id 的 8 组 path 被追加到 active manifest,且完整键集合指纹和内容指纹与 canonical 组一致;扫描节点输出行数增到 33.6 亿,按 order_item_id 去重后仍是 4.20 亿。因此修复应选择业务截点等价的 canonical path 列表,不能凭“结果行数没变”就删除或回退输入。

已经接近或超过 SLA,能不能先把结果发出去?

先把业务可接受的范围、数据日期、完整性标识和补齐时间说清楚。若强质量规则、主键唯一性、结果对账或并发保护没有通过,就保持旧的已确认版本并升级;若业务明确接受受控范围,也要使用隔离结果、标记不完整范围、保留补齐计划并让下游知道版本状态。升级通知与恢复动作并行,不因为超时就绕过验收,也不因为正在恢复就停止通知。

相关题目