任务成功但数据为空或少一半,怎么提前发现?

这道题考什么

Spark / Hive 任务显示 SUCCESS,只说明计算流程完成,不说明业务数据正确。回答这道题,要拿输入、分区、主键集合、关键字段、业务日完整性和上下游水位证明结果可用;发现空结果或少一半后,还得说清怎么阻断发布、定位原因、恢复版本并处理下游影响。

一句话思路

把任务状态和数据质量分开:先锁定业务日期、批次、版本与并发实例,再对输入到输出检查行数、主键集合、分区覆盖、关键字段非空、业务日完整性和上下游水位;质量通过才发布,失败就告警、升级、隔离并修复,最后用影子结果、版本切换、下游刷新和回退验证恢复。

面试回答模板

面试官:任务显示 SUCCESS,但数据为空或少了一半,你怎么提前发现和处理?

你:我会先把任务状态和业务质量分开。先锁定业务日期、物理分区、输入批次、run_id、代码版本和发布版本,冻结下游发布。然后查源端 manifest、分片完成数、watermark 和上游实例,确认输入是否真的完整。

对结果我不会只看 COUNT(*)。会按输入到输出检查分片覆盖、行数、order_item_id 主键集合和重复率、业务日分区、order_id / gmv 等关键字段非空,再检查过滤条件、时区、JOIN 匹配率、覆盖写和并发实例。业务低谷必须同时有业务日历、批次完成和契约允许空批次等证据;空目录、任务成功或 max(event_time) 都不能单独放行。

如果是上游没齐,就阻断并升级,等完整批次后固定输入重算。如果是过滤、分区、时区、JOIN 或覆盖写问题,就用修复后的版本和新 run_id 在影子位置计算,做质量、对账、版本和并发门禁。通过后切换 release_id;正式分区已经被错误结果覆盖时,先回退到上一个已确认版本。

最后还要回查 DWS、ADS、缓存、看板和导出是否读到合格版本,通知受影响使用方,保存证据链。任务成功时间只能作为诊断信息,不能代替业务数据可用和下游发布完成。

还原场景

以小点优选的支付日报为例。以下时刻、行数和阈值都是教学示例,用于说明证据链,不代表通用阈值。本文统一使用北京时间(UTC+8)。目标业务日是 2026-11-16,日报在 2026-11-17 早晨交付。

链路按 OneData 命名约定写成:

ods_trade_order_di → dwd_trade_order_detail_di → dws_trade_shop_pay_1d → ads_trade_dashboard_1d

一行 dwd_trade_order_detail_di 代表一个支付成功订单明细,order_item_id 是明细唯一键,order_id 用于统计订单数,gmv 是明细粒度的可加交易规模。源端 manifest 在本例中列明四个分片各有 250,000 条应纳入的支付明细,完整批次预期得到 1,000,000 行;批次号为 trade_order_20261116_b01。这些预期数来自独立的源端清单,不是用出问题的 SQL 再算一次。

本文的 watermark 指源端 / 接入按分片维护的完整性位点,每个分片都要达到 manifest 约定的截点并有完成标志。它不等于 max(event_time),也不同于 Flink 的事件时间 watermark。业务日范围为 2026-11-16 00:00:00 至 2026-11-17 00:00:00,采用左闭右开区间;凌晨最后几毫秒的记录也在范围内。

为让静态 SQL 可读,本文明确约定教学表字段,不声称它们来自真实线上表:

对象 本文约定
DWD 明细字段 order_item_id、order_id、shop_id、gmv、pay_status、source_shard_id、event_time、biz_date、batch_id、code_version
日期与粒度 event_time 是支付成功时间,按 Asia/Shanghai 解释;biz_date 是按此时区派生的业务日期;dt 是物理业务日分区
隔离版本 教学 DWD 另按 run_id 隔离实例;r01 / v20261116_01 是问题版本,r02 / v20261116_02 是修复版本
DWS 影子表 非分区列按 shop_id、gmv、order_cnt 排列,分区列是 dt、run_id;每行代表一个店铺在该业务日的支付汇总
发布元数据 release_id 绑定目标业务日、输入清单、代码、run_id 和质量结论;它由发布记录维护,不假设每行明细都存一份

实际系统可以使用快照、独立影子表或版本目录实现实例隔离;本文的 run_id 分区只是教学建模选择。普通 Hive 表不会因为写了版本号就自动具备多表原子发布能力。

03:10,dwd_trade_order_detail_di 的任务实例显示 SUCCESS,但值班看到了两种可能现象:一种是目标分区 0 行,另一种是只有 500,000 行,为清单预期的一半。06:30 是 ADS 日报可用的交付期限,质量验收、发布和缓存刷新也必须计入恢复预算。此时不能直接重跑。要先保存实例的 run_id、代码版本、输入批次、物理分区和写入动作,再确认结果是否已经被下游读取。

本例源端清单已经给出 1,000,000 条应纳入明细,一旦确认清单与批次匹配,就不能再用“业务低谷”解释 0 行或 500,000 行。正文讨论合法空批次,是为了说明通用判断边界,不是临时更改本例的预期。

下图先把任务状态、质量门禁和发布状态分开。只有计算完成且质量通过,结果才有资格成为可发布版本。

读图:03:10 要先取证和隔离;调度平台的绿色状态还不足以通知下游“数据可用”。

先判断:这是什么问题

先固定六个匹配键:业务日期 biz_date、物理分区 dt、输入批次 batch_id、实例 run_id、代码版本 code_version 和发布版本 release_id。只要其中一个键不匹配,行数对比就可能是在比较不同数据。

先把空结果和少一半变成证据

检查对象 完整批次的示例预期 空结果的证据 少一半的证据
输入分片 4 个分片 可能只有目录或 0 行,不能证明已完成 2 个分片完成,2 个缺失,或 4 个都到但某些分片行数异常
DWD 行数 1,000,000 行 0 行,且任务 SUCCESS 500,000 行,约为预期一半
order_item_id 集合覆盖 4 个分片且无重复 集合为空 缺少某一批分片的主键集合,或重复主键掩盖缺失
业务日字段 全部属于 2026-11-16 没有可检查记录 只有部分业务日,或时区转换后落到相邻日期
关键字段 order_id、gmv 等满足非空规则 无法用 0 行证明规则通过 非空率或枚举值明显偏离历史与契约
下游状态 DWS、ADS 等待质量通过后的版本 不能因 DWD SUCCESS 就刷新 可能已读到半批结果,需冻结并回查版本

行数只是第一道信号。1,000,000 行也可能全部来自一个分片,500,000 行也可能是业务真实低谷;因此要同时查主键集合、分区覆盖、字段非空、批次 manifest 和水位。对支付明细还要检查 order_item_id 唯一,不能用 COUNT(DISTINCT order_id) 替代明细唯一性。

以下 SQL 是静态示例,按 Hive / Spark SQL 的常见写法表达检查语义,未在真实引擎执行。使用上表声明的教学字段,执行前须固定会话时区与数据契约。本例时区是 Asia/Shanghai,不能直接对未经转换的 UTC 字符串调用 to_date。

第一条分组查询在输入 0 行时会返回 0 个结果行;监控平台必须把“预期业务日没有指标行”判为失败,不能把“查询无结果”当成“没有异常”。也可在平台按预期分区清单补齐计数指标:行数记 0,非空率等无分母指标记为不适用并单独判空,不能默认 100%。

-- 示例 1:固定业务日、批次和版本,检查行数、主键和关键字段
SELECT dt,
       batch_id,
       code_version,
       COUNT(*) AS detail_row_cnt,
       COUNT(DISTINCT order_item_id) AS item_key_cnt,
       SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt,
       SUM(CASE WHEN order_id IS NULL THEN 1 ELSE 0 END) AS null_order_cnt,
       SUM(CASE WHEN gmv IS NULL THEN 1 ELSE 0 END) AS null_gmv_cnt,
       COUNT(DISTINCT source_shard_id) AS shard_cnt
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
  AND batch_id = 'trade_order_20261116_b01'
  AND run_id = 'r01'
  AND code_version = 'v20261116_01'
GROUP BY dt, batch_id, code_version;

-- 示例 2:检查明细主键是否重复
SELECT order_item_id, COUNT(*) AS cnt
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
  AND batch_id = 'trade_order_20261116_b01'
  AND run_id = 'r01'
GROUP BY order_item_id
HAVING COUNT(*) > 1;

不能把业务低谷直接当成根因

判断“今天确实少”需要业务证据和数据证据同时成立,例如源端批次已经完成、4 个分片都在合同范围内、上游水位达标、业务日历说明当天正常营业或有活动变化、主键和字段质量通过、下游口径没有变。只看到“行数少”或“任务成功”都不够。

同样是空结果或少一半,下表里的证据决定先查哪一段。

可能原因 应查证据 典型后果
真实业务低谷 源端完成标志、业务日历、分片完整性、历史可比口径 结果可以少,但质量规则应通过,并留下业务说明
上游延迟 批次状态、分片完成数、watermark、接入心跳 下游过早读取,只看到空或半批输入
过滤条件错误 运行参数、pay_status、日期条件、代码版本和变更差异 任务正常结束,但合法记录被全部或部分过滤
分区字段或时区错误 biz_date、dt、事件时间、任务时区和分区写入日志 数据落到相邻业务日,目标分区空或变少
JOIN 漏数据 关联键覆盖、匹配率、重复率、连接类型和维表版本 明细在连接前存在,连接后被丢弃或重复
覆盖写空分区 INSERT OVERWRITE 日志、写入分区、发布版本和输入快照 空结果直接覆盖原有可用分区
重复运行互相覆盖 并发 run_id、开始结束时间、写入锁、提交顺序 旧实例或半批实例晚到,覆盖新结果

“任务成功”只能证明执行路径没有抛出未处理错误。它无法证明输入齐全、过滤条件正确、连接保留了预期主键,也无法证明写入的就是目标业务日。

处理步骤

步骤 1:冻结结果,锁定实例、版本和影响范围

做什么:取 2026-11-16 对应的任务实例、run_id、code_version、输入 batch_id、目标 dt 和写入方式。暂停下游 DWS / ADS 的自动发布或把当前结果标为不可发布,保留任务日志、输入清单、输出统计和发布记录。先确认是否已有 release_id 指向这次结果。

质量失败后立即通知任务负责人和值班责任人,告警带业务日、批次、实际值、预期值、失败规则、版本和下游影响。到既定响应时限无人接手、证据冲突仍未收敛,或保守预计恢复将越过 06:30,就升级给交付负责人并通知使用方,说明下一次更新时间。恢复预算包含补齐输入、重算、DQC、发布和下游刷新,不能只看还有几个小时。

怎么验证:应能回答“哪一个实例、用哪个版本、读了哪一批数据、写了哪个分区、是否有并发写入”。检查调度平台、表提交记录、分区元数据和发布服务的版本记录。若发现多个实例同时写同一分区,先按写入锁或发布规则保留证据,不要直接删除其中一个目录。

何时进入下一步:键全部对齐且结果尚未发布,进入步骤 2;结果已经被 DWS、ADS 或缓存读取,先标记受影响版本并通知使用方,再并行进入步骤 2;目标分区已被错误覆盖,先按步骤 5 的条件回退合格版本,同时继续步骤 2、3 取证,不能跳过输入确认直接重算。

步骤 2:证明输入是否完整,再判断空或少是否合理

做什么:查询源端 manifest、4 个分片的完成标志、分片行数、watermark、最近心跳和上游实例状态。对于目标批次,预期是 4 个分片都完成、watermark 到达合同截点、批次状态为 COMPLETE。

怎么验证:

  • 4 个分片、批次状态和 watermark 都满足合同,但 DWD 是 0 行,转入步骤 3,优先查参数、过滤、分区和写入。
  • 只有 2 个分片完成,或 watermark 未到,即使上游任务显示 SUCCESS,也只能判定输入证据不足,阻断下游并升级上游延迟。
  • 4 个分片齐全,行数约 500,000,且业务日历没有低谷证据,进入步骤 3 查范围、过滤和连接。
  • 对于其他契约允许空的业务日,只有源端确认没有应纳入明细、完整批次完成且业务证据支持,才能登记合法空批次,并在质量记录中保留 empty_batch 审计状态;本例有 1,000,000 条预期,不能走这条放行分支。

何时进入下一步:输入完整或已经确认是合法空批次,进入步骤 3;输入未完整,保持质量阻断,沿源端、传输、调度和发布责任人升级,并在输入补齐后重新执行步骤 2。不能用目录存在、某个 task SUCCESS、max(event_time) 或行数大于 0 代替批次完整证据。

步骤 3:沿输入到输出的证据链定位丢失位置

做什么:按“输入 → 过滤 → 连接 → 写分区 → 发布”的顺序做分段对账。用主键集合而不只看总行数:先比较 ODS 与 DWD 的分片覆盖,再比较过滤前后的 order_item_id,再检查 JOIN 前后的匹配率与重复率,最后查写入分区、覆盖动作和发布版本。

怎么验证:

  1. 输入到过滤:确认 4 个分片都读入,biz_date、dt、时区参数和 pay_status 条件正确。若输入有 1,000,000 行、过滤后 0 行,优先怀疑日期、状态枚举或参数传错。
  2. 过滤到连接:抽取过滤后的 order_item_id 与维表关联键,计算匹配和未匹配集合。INNER JOIN 会丢掉未匹配明细;维表多行匹配会产生重复,可能让总行数看起来正常但主键重复。
  3. 连接到写分区:查看写入日志和目标分区的实际路径,核对 dt = '2026-11-16' 是否由业务日期生成。误用任务运行日可能写到 2026-11-17;误按 UTC 派生日期,可能把北京时间凌晨的记录划到 2026-11-15。这两类错位要分别查参数和时间转换。
  4. 写分区到发布:查是否执行了 INSERT OVERWRITE,是否把空的重跑结果直接覆盖正式分区,是否有旧 run_id 在后完成后覆盖新结果。发布记录应同时包含 release_id、输入批次和代码版本。

下面用已声明的教学字段查询分片和业务日分布。SQL 是静态示例,未在真实引擎执行。分片统计必须与 manifest 的预期 4 个分片做差集:SQL 只返回出现过的分片,没有返回某个分片就是缺失证据。MIN / MAX 用于诊断分布,不负责证明到齐。

-- 示例 3:按分片对账,确认是否只有 2 / 4 个分片进入 DWD
SELECT source_shard_id,
       COUNT(*) AS row_cnt,
       MIN(event_time) AS min_event_time,
       MAX(event_time) AS max_event_time
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
  AND batch_id = 'trade_order_20261116_b01'
  AND run_id = 'r01'
GROUP BY source_shard_id
ORDER BY source_shard_id;

-- 示例 4:检查业务日是否越界,以及关键字段是否为空
SELECT dt,
       COUNT(*) AS row_cnt,
       SUM(CASE WHEN event_time IS NULL
                     OR to_date(event_time) <> '2026-11-16'
                     OR biz_date IS NULL OR biz_date <> '2026-11-16'
                THEN 1 ELSE 0 END) AS invalid_day_cnt,
       SUM(CASE WHEN order_id IS NULL OR shop_id IS NULL OR gmv IS NULL
                THEN 1 ELSE 0 END) AS required_null_cnt
FROM dwd_trade_order_detail_di
WHERE dt IN ('2026-11-15', '2026-11-16', '2026-11-17')
  AND batch_id = 'trade_order_20261116_b01'
  AND run_id = 'r01'
GROUP BY dt;

两条诊断演示分别说明如何锁定首个差异点,彼此独立,不是同一次故障里依次发生的事实:

  • 空结果路径:manifest 与 ODS 都确认有 1,000,000 条应纳入明细,过滤前主键齐全,过滤后 0 条;再比对版本差异,发现新版本把合同中的 SUCCESS 写成另一种枚举。把失败过滤条件与独立清单对照,才有证据判定过滤错误;修复后必须重新验证主键集合,不能只把行数改回非零。
  • 少一半路径:4 个分片都读入,过滤后 1,000,000 个主键,INNER JOIN 后只剩 500,000 个;未匹配集合中的 500,000 个主键与损失集合一致,再查维表版本和关联键。若其实只读到 2 个分片,首个差异就出现在输入处,应回到上游完整性排查,不能直接改成 LEFT JOIN 掩盖。

主键差集应包含“预期存在但结果缺失”和“结果存在但预期没有”两个方向,并另外检查重复。完整性预期来自源端清单,业务过滤的合法剔除范围要单独登记;拿同一份错误过滤 SQL 同时生成预期与实际,会让对账一起出错。

何时进入下一步:如果根因是上游未齐,回到步骤 2;如果根因是 SQL、分区、时区、JOIN 或覆盖写,带着证据进入步骤 4;如果所有证据都支持真实低谷,仍需完成质量门禁和业务说明,不能因为“看起来合理”跳过发布验收。

步骤 4:隔离修复结果,执行影子计算和质量门禁

做什么:固定业务日期、输入批次和代码版本,修复过滤、分区、时区或连接逻辑后,用新的 run_id 在影子表或临时版本计算。禁止把剩余数据直接追加到正式分区,也禁止在没有证据时反复覆盖生产结果。

影子结果至少检查:

  • 行数与输入范围对账。本例 manifest 已确认有 1,000,000 条应纳入明细,修复后必须精确对上这个集合,不能只回到“大约这么多”。真实业务的波动范围用来预警,不能替代已知清单的精确完整性校验。
  • order_item_id 集合覆盖 4 个分片且无重复;缺失集合和新增集合都要能解释。
  • dt、biz_date、事件时间和时区一致,不能只检查物理目录名。
  • order_id、gmv 等关键字段非空,状态枚举合法,业务日覆盖完整。
  • DWS 按店铺重新聚合后,与 DWD 同口径结果对账;不要用另一套过滤条件生成“看起来接近”的基准。
  • 代码版本、输入批次和发布版本满足门禁,且没有旧实例并发覆盖。

怎么验证:只有影子结果通过强规则、对账和版本检查,才申请发布锁。本例不允许的空结果、缺失分片、主键重复、业务日越界、必填字段为空、版本不一致和并发未收敛,都应阻断。弱规则可以告警后继续,但是否属于弱规则要预先写进数据契约,不能在故障时临时放宽。

何时进入下一步:影子结果全部通过,进入步骤 5;任一强规则失败,保留失败证据,回到步骤 3 修复;短时间无法恢复时,保持旧的已确认版本,不把空或半批结果发布给下游。

示例写入只表达隔离计算和质量检查语义,未在真实引擎执行。dws_trade_shop_pay_1d_stage 是隔离表名示例,正式环境的表格式、事务和发布能力需要按实际引擎确认。

-- 示例 5:先写隔离结果,固定 run_id,不直接覆盖正式分区
INSERT OVERWRITE TABLE dws_trade_shop_pay_1d_stage
PARTITION (dt = '2026-11-16', run_id = 'r02')
SELECT shop_id,
       SUM(gmv) AS gmv,
       COUNT(DISTINCT order_id) AS order_cnt
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
  AND batch_id = 'trade_order_20261116_b01'
  AND run_id = 'r02'
  AND code_version = 'v20261116_02'
  AND pay_status = 'SUCCESS'
GROUP BY shop_id;

-- 示例 6:隔离结果通过后才允许申请发布
SELECT dt,
       run_id,
       COUNT(*) AS shop_row_cnt,
       SUM(CASE WHEN shop_id IS NULL OR gmv IS NULL THEN 1 ELSE 0 END) AS invalid_cnt
FROM dws_trade_shop_pay_1d_stage
WHERE dt = '2026-11-16'
  AND run_id = 'r02'
GROUP BY dt, run_id;

步骤 5:发布、回退和处理下游缓存

做什么:影子结果验收通过后,用受控发布流程切换 release_id,同时记录输入批次、code_version、run_id、质量结果和发布时间。发布前先判断正式分区当前指向哪个版本,避免新旧实例互相覆盖。

如果正式分区已经被空结果或半批结果覆盖,先核对目标业务日是否有上一份合格版本;有就按既定机制回退,再重新计算修复版本。回退恢复的是有质量证据的版本,补算仍要继续。若旧版本属于前一个业务日,只能按约定作为明确标注日期的降级展示,不能冒充目标日;若既无同日合格版本,也无可恢复快照,就保持阻断,说明预计补齐时间。

发布切换还要明确原子性范围。单表快照切换通过,不代表 DWD、DWS、ADS 和缓存已经同时切换。普通 Hive 分区覆盖、元数据切换和多表更新不能一概视为同一事务;应按现有平台用互斥、提交条件和发布清单控制,消费者只在目标链路就绪后读新版本。

怎么验证:

  • DWS 和 ADS 的 release_id 已切到通过质量门禁的版本。
  • 报表查询、下游缓存和看板刷新使用同一个业务日期与版本,没有继续读取失败版本。
  • 已经读过失败版本的导出、缓存、订阅或接口被标记为受影响,并按约定刷新或失效。
  • 业务看到的数据覆盖范围、完整性标识和通知内容一致。
  • 发布完成后再次检查版本水位,确认旧 run_id 没有晚到覆盖新版本。

何时进入下一步:版本切换、下游刷新和业务回查都通过,进入步骤 6;缓存、看板或导出仍停留在旧版本,保持事件打开,继续执行补偿并更新影响范围。

步骤 6:升级通知,保存证据并关闭事件

做什么:将空结果或少一半的证据链、根因、影响版本、阻断时间、修复 run_id、回退版本、发布版本和下游处理记录写入事件。通知任务开发、上游负责人、调度负责人、看板负责人和值班责任人;如果失败版本已经被业务读取,也通知受影响使用方。

怎么验证:事件记录中要能从告警回放到最终恢复:输入批次是否完整、哪一个检查失败、哪一个版本被隔离、何时回退、何时重新发布、哪些缓存被刷新、业务何时确认。只看到任务成功时间,不能关闭事件。

何时进入下一步:质量、版本、并发、下游发布和使用侧确认全部完成后关闭;仍有补数、缓存刷新或影响通知未完成,就继续升级并保持事件打开。

事后预防

预防要让质量失败在结果到达业务前暴露。监控分三次触发:开跑前查输入批次、水位和分区覆盖;影子结果写完立即跑 DQC 并决定能否发布;发布后从实际查询入口回查业务日、版本水位与缓存。即使没有“任务失败”事件,缺少预期指标行、门禁超时和下游版本停滞也要主动告警,质量查询自身失败按未知处理,不能默认通过。

  1. 输入合同:为 ods_trade_order_di 记录 biz_date、dt、batch_id、预期分片集合、watermark、完成标志和合法空批次标志。下游只消费已确认批次,不读取“最新目录”。
  2. 输入到输出对账:在 DWD 检查输入分片覆盖、行数、主键集合和重复率;在 DWS 检查聚合前后口径;在 ADS 检查业务日和发布版本。每条规则要写清对象、比较基准、强弱等级和失败动作。
  3. 空结果与少一半告警:对 0 行、分片缺失、主键集合骤减、关键字段非空率下降、业务日越界分别告警。阈值按历史和业务合同配置,本例的 1,000,000 行与 500,000 行只是示例,不应直接复制成统一阈值。
  4. 硬阻断与软告警分开:输入未齐、目标分区错、强主键重复、业务日不完整、版本不匹配和并发未收敛时硬阻断;已确认的业务低谷、弱指标小幅变化可以告警后继续,但必须有业务证据和审计状态。
  5. 版本和并发门禁:影子结果通过质量检查后才生成可发布 release_id;同一 dt 只允许一个有效发布版本,正常调度、人工补跑和重试要有写入锁或提交条件,旧实例不能覆盖新版本。
  6. 发布后的回查:把 DWS、ADS、缓存、看板、导出和接口的版本水位串起来。任务成功但下游仍读旧版本,或者下游已经读到失败版本,都要触发后续告警。
  7. 保留回退材料:保留上一个已确认版本、输入批次快照、代码版本、质量结果、发布记录和下游刷新记录。没有回退材料时,修复计划必须先说明如何保护现有消费,不能直接覆盖。

完整处理流程图

总流程分成两段,用“输入与根因已确认”衔接。第一段负责阻断和取证,第二段负责修复、质量验收与发布回退;告警升级和恢复并行推进。

读图:输入不完整先修上游;输入完整后,沿输入到输出查首个差异点。其他业务日若有合法空批次,也要先核验契约和完整证据,再带着相应范围进入处置 B。

第二段沿“修复 → 影子结果 → 质量和版本门禁 → 发布 → 下游回查”推进。红色路径分别处理验收失败和发布失败,不能把所有问题都归到任务重跑。

读图:处置 B 的质量失败要回到影子计算,发布或下游失败则冻结并核对回退条件。上游已经算对、缓存还读失败版本时,应补偿消费侧;质量、版本、并发和下游验收全通过,事件才关闭。

常见追问

业务确实说今天订单少,为什么还要阻断?

先看业务说明是否能和数据证据对上。至少要有源端批次完成、4 个分片或合同约定的完整范围、watermark 达标、业务日历或业务方确认,并且空或少的结果符合数据契约。确认后可以把这次记为合法低谷,但仍要完成主键、分区、关键字段和发布版本检查。没有这些证据时,业务口头判断只能作为线索,不能替代质量门禁。

输入行数正常,为什么结果还是少一半?

继续做集合和分段对账。过滤条件可能把一半状态过滤掉,时区可能让部分记录落到相邻分区,INNER JOIN 可能丢掉未匹配明细,维表多行又可能产生重复。要比较每一段的 order_item_id 缺失集合、匹配率、重复率和业务日分布,不能只比较总行数。

任务 `SUCCESS` 但上游 watermark 没到,能不能先让下游跑?

不能。上游 watermark 未到说明输入完整性尚未满足合同,任务成功只说明当前读取动作结束。应冻结下游,查源端、传输和调度状态;若批次后来完整,再固定批次和版本重算。若业务允许部分交付,也要由有权限的人确认范围、完整性标识和补齐时间,不能把半批结果当全量结果发布。

正式分区已经被空结果覆盖,怎么恢复?

先停止继续覆盖,保存覆盖实例、run_id、代码版本、写入日志和受影响下游。若有上一个已确认的 release_id 或可恢复快照,先回退并核对 DWS、ADS、缓存和看板;再修复根因,在影子位置重算,完成质量、对账、并发和发布门禁后切换新版本。没有可回退版本时保持发布阻断,不能用其他业务日数据冒充目标日。

重跑和正常调度同时写同一分区,如何防止互相覆盖?

同一个业务日期和目标分区要绑定发布锁、唯一有效 run_id 或提交条件,正常调度、人工补跑和失败重试都要经过同一套版本门禁。结果先写隔离位置,发布时检查输入批次、代码版本、质量状态和当前 release_id;旧实例晚到时提交应被拒绝。发布后再检查下游版本水位,防止表已切换但缓存仍读旧结果。

相关题目