业务库订单数和数仓对不上,怎么做源端对账?
这道题考什么
这道场景题考察的是如何把“两个数字不一样”拆成可验证的证据链:先固定口径、时间、版本和水位,再按源端、ODS、DWD 分层计数,最后用主键差集、抽样和影子结果证明是否能发布。只看总订单数,容易把订单粒度、明细粒度、支付成功条件、迟到数据和重复写入混在一起。
一句话思路
先冻结同一业务日和同一支付成功口径,固定源端快照、CDC 水位、数仓 dt 与处理分区,再按订单数、明细数、gmv 和主键集合逐层对账;差异可解释且影子结果通过质量门禁后才发布,重复、漏数、迟到、删除、版本冲突或超时都保留旧结果并升级。
面试回答模板
面试官:业务库订单数和数仓对不上,你怎么做源端对账?
你:我不会先把数仓补到业务库的数字。先固定业务日期、时区、支付成功口径、源端快照时间、CDC 位点、数仓 dt、处理分区、代码版本和当前发布版本,确认双方比较的是同一个数据截面。
你:第二步把粒度拆开。源端订单表按 COUNT(DISTINCT order_id),订单明细表按 COUNT(DISTINCT order_item_id),同时计算物理行数、重复键、NULL 键和 gmv。本例源端是 1,000,000 个订单、1,200,000 个明细和 12,480,000 GMV,DWD 是 980,000 个订单、1,165,000 个去重明细、1,170,000 行和 12,450,000 GMV,所以订单差异、明细差异和重复行必须分开解释。
你:第三步按源端、ODS、DWD 分层对账,查 4 个分片的完成标志、CDC watermark、最大事件版本、更新和删除事件。再用 order_item_id 做两侧差集,分别找 DWD 缺失、源端独有、重复、字段不同和 JOIN 未命中。抽样要覆盖业务日边界、迟到、删除、重复事件、NULL 键和维表多行匹配。重点检查 pay_time 生成的业务日期是否和 dt 一致,不能把 process_dt 当成业务日期。
你:第四步在影子 run_id 中修复和重算,修复版本要固定输入,不直接覆盖正式分区。验收输入分片、明细唯一、订单关系、gmv、差集、店铺分布和下游口径。通过后由发布服务在并发保护下切换 release_id,再刷新 DWS、ADS、缓存、导出和接口。如果旧结果已经被消费,要按消费记录重建、重发或通知;发布失败就回退同一业务日的合格版本。质量证据不足或超时,我会保持旧结果并升级,不用一条总数接近的查询放行。
还原场景
小点优选在 2026-11-17 03:20 发现:业务库说 2026-11-16 有 1,000,000 个支付成功订单,数仓 DWD 只有 980,000 个订单。业务同时看到数仓明细表有 1,170,000 行,源端明细应为 1,200,000 行,报表 GMV 也少了 30,000。06:30 是支付日报的交付时间,剩余时间必须包含取证、修复、验收、发布和下游刷新。
本文所有日期、时间、数量、版本和 GMV 都是教学示例,用来演示排查证据,不代表真实任务运行结果。时间统一按 Asia/Shanghai 解释。源端的 trade_order 一行代表一个订单,trade_order_item 一行代表一个订单明细;DWD 的 dwd_trade_order_detail_di 一行代表一个 order_item_id。因此,源端订单数和 DWD 明细行数不是同一个指标,必须分别对账。
本例采用以下业务契约:支付成功条件是 pay_status = 'SUCCESS';业务日由 pay_time 按 Asia/Shanghai 转换得到;时间范围是 [2026-11-16 00:00:00, 2026-11-17 00:00:00);订单数按 COUNT(DISTINCT order_id),明细数按 COUNT(DISTINCT order_item_id),gmv 按支付成功明细求和。dt 是业务日期分区,process_dt 是实际处理日期,两者不能互相替代。
| 对象 | 本例粒度与作用 | 需要固定的证据 |
|---|---|---|
业务库 trade_order |
一行一个订单 | 查询时间、支付状态、源端只读快照时间 |
业务库 trade_order_item |
一行一个订单明细 | order_item_id、订单关联、删除语义 |
ods_trade_order_di |
CDC 原始事件 | 分片、位点、事件版本、删除事件、接收时间 |
dwd_trade_order_detail_di |
一行一个订单明细 | 去重键、支付状态、dt、process_dt、代码版本 |
dws_trade_shop_pay_1d |
每个业务日、店铺的支付汇总 | 聚合版本、订单数、明细数、gmv |
ads_trade_dashboard_1d |
支付日报发布结果 | release_id、消费状态、缓存版本 |
源端 manifest 记录 4 个分片,每个分片预期有 300,000 个支付成功明细,共 1,200,000 个 order_item_id;这些明细属于 1,000,000 个 order_id。源端查询得到 12,480,000 的 GMV。ODS 收到的 CDC 原始事件为 1,228,000 行,包含更新和删除事件;按最新事件去重并按支付成功口径筛选后,只有 1,195,000 个明细、998,000 个订单。DWD 最终有 1,170,000 行,去重后 1,165,000 个明细、980,000 个订单,GMV 为 12,450,000。
这组数字先说明异常位置:源端的订单数与 DWD 的订单数相差 20,000;源端明细数与 DWD 去重明细数相差 35,000;ODS 已经比源端少 5,000 个明细,DWD 又比 ODS 少 30,000 个明细。DWD 行数 1,170,000 还比去重明细数 1,165,000 多 5,000,说明重复明细也要单独处理,不能只用行数差解释全部问题。
下图把业务日、源端查询、CDC 接收和 DWD 处理放在同一条时间线上。重点看:业务日期是支付发生日,处理日期是数据被加工的日期,CDC 位点是输入是否完整的证据。
读图:本例的 06:30 是日报交付期限,不是允许忽略质量检查的理由。业务库查询还要记录快照时间;如果源端持续写入,却没有一致性快照,前后两次查询的总数可能本身就不可比。
先判断:这是什么问题
先判断“对不上”属于口径不同、时间版本不同,还是数据真的丢失。下面几类问题的处理动作不同,不能直接把 DWD 补到源端数字就结束。
| 判断方向 | 要核对的证据 | 可能结论 |
|---|---|---|
| 粒度不同 | 源端订单数、源端明细数、DWD 行数和去重明细数 | 订单数与明细数不能直接相等,需要比较各自契约 |
| 支付口径不同 | pay_status、支付成功事件、取消和退款条件 |
可能是业务定义差异,先做口径确认 |
| 日期或时区不同 | pay_time、会话时区、biz_date、dt、process_dt |
记录可能落到相邻业务日或错误处理分区 |
| 快照或版本不同 | 源端快照时间、CDC 位点、DWD 代码版本、维表版本 | 双方读取的不是同一批数据 |
| CDC 增量不完整 | 分片完成标志、位点、更新和删除事件 | ODS 在源端到 DWD 之间已经漏数 |
| 去重或重复 | order_id、order_item_id 唯一性、事件版本 |
重复写入可能让行数变大,漏数可能被聚合掩盖 |
| JOIN 或过滤丢失 | 关联键、JOIN 类型、过滤条件和命中率 | DWD 可能在加工中删掉合法明细 |
| 迟到或删除 | 接收时间、业务事件时间、删除事件和纳入截止点 | 源端当前结果与历史处理批次不在同一截面 |
订单数和明细数先拆开
本例源端有 1,000,000 个订单和 1,200,000 个明细,平均每个订单约 1.2 个明细。DWD 的 980,000 个订单和 1,170,000 行明细,至少要回答两个问题:少掉的 20,000 个订单对应哪些 order_id,少掉的 35,000 个明细对应哪些 order_item_id。如果直接拿 1,000,000 和 1,170,000 比,结果必然被粒度差异污染。
支付成功口径要能落到字段
“业务库订单数”可能统计创建成功、支付成功或完成订单。本文固定为支付成功:订单和明细都必须能回到 pay_status = 'SUCCESS',支付时间由 pay_time 生成。退款不从支付成功订单中扣除;如果业务要看退款后 GMV,应另建退款事实并按退款事件时间统计,不能在本次源端对账中临时改成净口径。
业务日期和处理分区不是一回事
2026-11-16 是业务日期,表示支付事件按 Asia/Shanghai 落在这一天。process_dt = '2026-11-17' 表示 11 月 17 日执行处理。dt = '2026-11-16' 是 DWD 为方便下游按业务日查询使用的分区。一个任务在 11 月 17 日运行,不代表应该读取 dt = '2026-11-17';同样,分区名正确也不代表事件时间和时区正确。
总数相同也不能直接放行
一条明细重复一次,另一条明细漏掉一次,可能让总行数刚好相等;一个店铺多算、另一个店铺少算,也可能让 GMV 抵消。必须同时检查总数、分层计数、主键差集、重复集合、关键字段和按店铺分布。源端与数仓的查询还要绑定同一快照时间或同一业务截点,否则得到的“差异”可能只是实时写入造成的读视图不同。
处理步骤
步骤 1:冻结比较范围、快照和并发写入
做什么:为本次对账建立 manifest,固定业务日 2026-11-16、时间范围、时区、支付成功条件、源端只读快照时间、4 个源端分片、CDC 目标位点、DWD 的 dt、process_dt、run_id、代码版本和当前 release_id。暂停同一目标分区的补数和日常重跑,避免对账过程中又有一个实例覆盖 DWD。先查 ads_trade_dashboard_1d 是否已经发布或被缓存、导出和接口消费。
源端如果支持一致性快照,要记录实际 snapshot ID 或事务截点;如果只能查只读副本,要记录副本延迟和查询时间。前后两次独立查询不能自动组成一致性快照。数仓侧要保存输入文件或批次清单,不能只记一个“任务成功”。
怎么验证:检查 manifest 是否能解析出业务日期、时区、源端快照、CDC 位点、分区、版本和负责人;检查同一 dt 是否有并发 run_id;检查发布服务和消费日志是否已有下游读取。预期是比较双方都指向可追溯的输入截面,且本次对账结果写入隔离位置。
通过 / 失败 / 超时去向:证据齐全且同一分区没有并发写入,进入步骤 2;源端快照不可读、CDC 位点未知、版本无法解析或已有实例并发写入,保持正式结果不变,先升级源端和调度负责人;15 分钟内不能确认比较范围,就交付“证据不足,暂停发布”状态,不用临时查询结果替代快照。这里的 15 分钟是本案例值班节奏示例,不是通用阈值。
步骤 2:冻结口径,分别计算订单数、明细数和 gmv
做什么:把业务库和数仓的指标契约写成同一张对账表。源端同时取 COUNT(DISTINCT order_id)、COUNT(DISTINCT order_item_id) 和 SUM(gmv);DWD 也取同样三个指标,并另外取物理行数、NULL 主键数和重复主键数。订单数、明细数、GMV 的分母与粒度各自固定,不用一个数字替代另一个数字。
源端 SQL 和数仓 SQL 的方言可能不同。下面第一段是 MySQL 8 风格的静态示例,假设源端时间字段已经按 Asia/Shanghai 存储;第二段是 Spark SQL 3.x / Hive 常见风格的静态示例,按 dt、process_dt 和 run_id 固定读取。两段 SQL 只表达查询语义,未在真实 Spark / Hive 引擎执行;CONVERT_TZ、from_utc_timestamp、分区写法和 NULL 安全比较要按实际引擎调整。
-- MySQL 8 风格示例:源端只读快照,时间范围左闭右开
SELECT COUNT(DISTINCT o.order_id) AS source_order_cnt,
COUNT(DISTINCT i.order_item_id) AS source_item_cnt,
SUM(i.gmv) AS source_gmv
FROM trade_order o
JOIN trade_order_item i
ON o.order_id = i.order_id
WHERE o.pay_status = 'SUCCESS'
AND o.pay_time >= '2026-11-16 00:00:00'
AND o.pay_time < '2026-11-17 00:00:00'
AND i.pay_status = 'SUCCESS'
AND o.snapshot_id = 'S20261117_0130'
AND i.snapshot_id = 'S20261117_0130';
-- Spark SQL 3.x / Hive 风格示例:DWD 固定业务分区、处理分区和运行版本
SELECT COUNT(*) AS dwd_row_cnt,
COUNT(DISTINCT order_id) AS dwd_order_cnt,
COUNT(DISTINCT order_item_id) AS dwd_item_cnt,
SUM(gmv) AS dwd_gmv,
SUM(CASE WHEN order_id IS NULL THEN 1 ELSE 0 END) AS null_order_cnt,
SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
AND process_dt = '2026-11-17'
AND run_id = 'r01'
AND code_version = 'v20261116_01'
AND pay_status = 'SUCCESS';
怎么验证:源端结果应为 1,000,000 个订单、1,200,000 个明细和 12,480,000 GMV;DWD 当前结果应为 980,000 个订单、1,165,000 个去重明细、1,170,000 行和 12,450,000 GMV。先确认这些数字来自独立快照和固定版本,再解释差异。COUNT(*) 与 COUNT(DISTINCT order_item_id) 的差额 5,000 是重复证据,不等同于漏数。
通过 / 失败 / 超时去向:口径、时间、版本和分母完全一致,进入步骤 3;任一字段定义不同,先由指标负责人确认新旧口径和生效时间,不能把口径差异当作数据修复;源端查询超时或锁等待,使用批准的只读快照或分片查询,超时仍未获得快照就保留旧结果并升级,不反复打主库。
步骤 3:按源端、ODS、DWD 分层对账,先找首个差异层
做什么:按同一个 order_item_id 集合逐层计算:源端预期明细、ODS CDC 原始事件、ODS 最新状态、DWD 输入、DWD 输出。每层同时记录分片覆盖、事件版本最大值、删除事件数、唯一明细数、订单数、物理行数和 GMV。层与层之间必须使用可追溯的批次和水位,不能只比目标分区总量。
本例的教学账本如下:
| 层次 | 物理行数 | 去重明细数 | 去重订单数 | GMV | 解释 |
|---|---|---|---|---|---|
| 源端支付成功快照 | 1,200,000 | 1,200,000 | 1,000,000 | 12,480,000 | 4 个分片,每片 300,000 个明细 |
| ODS CDC 原始事件 | 1,228,000 | 1,195,000 | 998,000 | 12,470,000 | 含更新、删除和重复事件 |
| DWD 输出 | 1,170,000 | 1,165,000 | 980,000 | 12,450,000 | 有重复,也有加工后缺失 |
“首个差异层”是定位策略,不是自动根因。若源端快照有 1,200,000 个明细,而 ODS 最新状态只有 1,195,000 个,先查 CDC 分片和水位;若 ODS 已有 1,195,000 个而 DWD 只有 1,165,000 个,重点查过滤、JOIN、去重和处理版本。
下面是静态示例,未在真实 Spark / Hive 引擎执行。它展示 DWD 分层计数和分片覆盖;源端 manifest 中的 4 个分片必须与查询结果做集合差集,SQL 只返回出现过的分片,不能用 MAX(event_time) 证明分片到齐。
-- Spark SQL 3.x / Hive 常见写法:分层统计与分片覆盖
SELECT source_shard_id,
COUNT(*) AS row_cnt,
COUNT(DISTINCT order_item_id) AS item_cnt,
COUNT(DISTINCT order_id) AS order_cnt,
SUM(gmv) AS gmv,
MAX(cdc_event_version) AS max_event_version,
SUM(CASE WHEN op = 'D' THEN 1 ELSE 0 END) AS delete_event_cnt
FROM ods_trade_order_di
WHERE biz_date = '2026-11-16'
AND process_dt = '2026-11-17'
AND batch_id = 'trade_order_20261116_b01'
GROUP BY source_shard_id
ORDER BY source_shard_id;
SELECT source_shard_id,
COUNT(*) AS dwd_row_cnt,
COUNT(DISTINCT order_item_id) AS dwd_item_cnt,
COUNT(DISTINCT order_id) AS dwd_order_cnt,
SUM(gmv) AS dwd_gmv
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
AND process_dt = '2026-11-17'
AND run_id = 'r01'
GROUP BY source_shard_id
ORDER BY source_shard_id;
怎么验证:对每个分片核对 manifest 的预期数量、完成标志、watermark 和最新事件版本。预期是源端 4 个分片各 300,000 个明细;ODS 需要解释缺失、更新、删除和重复;DWD 需要解释每个分片的过滤损失和重复。分层结果还要按 shop_id 分布,防止一个分片整体漏掉却被总数掩盖。
通过 / 失败 / 超时去向:首个差异层和差异类型可定位,进入步骤 4;分片未齐、watermark 未到或删除事件未落地,回到源端和 CDC 负责人补齐输入,DWD 不得发布;分层查询超时,先缩小到 manifest 指定分片和差异店铺,仍无法完成就保留旧结果并升级,不能用抽样结果宣布全量通过。
步骤 4:用抽样、主键差集和重复检查验证漏数原因
做什么:从差异最大的店铺和 4 个分片中抽取边界样本,再做两侧主键差集。抽样覆盖:23:59:59 支付、00:00:00 支付、迟到到达、删除后重建、同一订单多明细、重复 CDC 事件、NULL 关联键和维表多行匹配。主键层面分别检查源端独有、DWD 独有、双方都有但字段不同,以及重复主键。
不要先用 INNER JOIN 把未匹配明细删除,也不要先用 ROW_NUMBER() 随便留一行。这样会把漏数或多匹配藏起来。订单明细对账优先用 order_item_id,订单数再由明细回到 order_id;如果源端与 DWD 的明细键生成规则不同,要先补一张键映射表,不能猜测两种 ID 可以直接关联。
下面是 Spark SQL 3.x 风格的静态示例,未在真实引擎执行。它先分别统计重复,再用 FULL OUTER JOIN 保留两侧缺失。<=> 是 Spark SQL / Hive 常见的 NULL 安全等于写法,MySQL 可用 <=>,其他数据库可能需要 IS NOT DISTINCT FROM,不能把方言差异藏起来。
-- 第一道门禁:先查 NULL 主键和重复明细
SELECT 'source' AS side,
SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt,
COUNT(*) - COUNT(DISTINCT order_item_id) AS duplicate_gap
FROM source_trade_order_item_snapshot
WHERE snapshot_id = 'S20261117_0130'
AND pay_status = 'SUCCESS'
AND pay_time >= '2026-11-16 00:00:00'
AND pay_time < '2026-11-17 00:00:00'
UNION ALL
SELECT 'dwd' AS side,
SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt,
COUNT(*) - COUNT(DISTINCT order_item_id) AS duplicate_gap
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
AND process_dt = '2026-11-17'
AND run_id = 'r01';
-- 第二道查询:比较两侧唯一明细,缺行和字段差异保留在结果中
WITH source_one AS (
SELECT order_item_id,
order_id,
shop_id,
pay_time,
gmv,
1 AS source_present
FROM source_trade_order_item_snapshot
WHERE snapshot_id = 'S20261117_0130'
AND pay_status = 'SUCCESS'
), dwd_one AS (
SELECT order_item_id,
order_id,
shop_id,
pay_time,
gmv,
1 AS dwd_present
FROM dwd_trade_order_detail_di
WHERE dt = '2026-11-16'
AND process_dt = '2026-11-17'
AND run_id = 'r01'
AND pay_status = 'SUCCESS'
)
SELECT s.order_item_id AS source_item_id,
d.order_item_id AS dwd_item_id,
s.source_present,
d.dwd_present,
s.order_id AS source_order_id,
d.order_id AS dwd_order_id,
s.shop_id AS source_shop_id,
d.shop_id AS dwd_shop_id,
s.gmv AS source_gmv,
d.gmv AS dwd_gmv,
CASE
WHEN s.source_present IS NULL THEN '源端没有,DWD 独有'
WHEN d.dwd_present IS NULL THEN 'DWD 缺失'
WHEN NOT (s.order_id <=> d.order_id)
OR NOT (s.shop_id <=> d.shop_id)
OR NOT (s.pay_time <=> d.pay_time)
OR NOT (s.gmv <=> d.gmv) THEN '字段不同'
ELSE '字段相同'
END AS diff_type
FROM source_one s
FULL OUTER JOIN dwd_one d
ON s.order_item_id = d.order_item_id
WHERE s.source_present IS NULL
OR d.dwd_present IS NULL
OR NOT (s.order_id <=> d.order_id)
OR NOT (s.shop_id <=> d.shop_id)
OR NOT (s.pay_time <=> d.pay_time)
OR NOT (s.gmv <=> d.gmv);
怎么验证:固定抽样种子和主键清单,确保同一批样本可以重放。预期能把 35,000 个明细差异拆成 CDC 未到、DWD 过滤、JOIN 未命中、删除处理、迟到未纳入和重复写入等类别。检查 order_id 与 order_item_id 的一对多关系;检查 dim_shop_zip 是否存在有效区间重叠;检查是否把 process_dt = '2026-11-17' 错写成业务日过滤;检查 pay_time 的时区转换是否把北京时间凌晨明细落到上一日。
抽样只能证明抽到的样本,不能代替全量集合对账。全量差集与重复门禁必须完成后,才可以用抽样解释根因。若差异由迟到数据造成,要记录接收时间和本次纳入截止点;若源端发送了删除事件,DWD 必须按源端删除语义处理,不能因为删除后源端当前查询查不到就把它当作历史漏数。
通过 / 失败 / 超时去向:主键差集能闭合到已知原因,进入步骤 5;仍有未解释的缺失、重复、NULL 键或多行 JOIN,回到步骤 3 修复对应层;抽样查询超过本案例可用窗口,先保留差异主键和旧版本,通知业务影响范围并升级,不以“抽样大致一致”放行。
步骤 5:在影子版本修复,做质量验收和并发保护
做什么:固定源端快照 S20261117_0130、CDC 批次 trade_order_20261116_b01、代码版本 v20261116_02,使用新的 run_id = 'r02' 在影子 DWD 和影子 DWS 中重算。修复内容按证据逐项落地:补齐 CDC 分片,按 cdc_event_version 取每个明细最新事件,保留源端删除语义,统一 pay_status 和时区,补全 JOIN 条件,避免维表一对多放大。
修复结果不能直接 INSERT OVERWRITE 正式分区。正式发布前至少验收 5 层:
| 验收层 | 通过条件 | 失败动作 |
|---|---|---|
| 输入层 | 4 个分片、watermark、快照和删除事件齐全 | 回源端和 CDC,禁止发布 |
| 明细层 | 1,200,000 个明细键可解释,order_item_id 无重复、非空 |
查去重和漏数,重新影子计算 |
| 订单层 | 1,000,000 个 order_id,订单与明细关系符合契约 |
查订单关联和过滤,阻断 |
| 汇总层 | gmv 与源端 12,480,000 对齐,店铺分布可解释 |
查 JOIN、舍入和字段变更 |
| 发布层 | release_id、代码、输入、质量报告和下游版本一致 |
拒绝切换,保留旧版本 |
下面的写入是 Spark SQL 3.x / Hive 常见的教学示例,未在真实引擎执行。dwd_trade_order_detail_stage 是影子表名,实际表格式是否支持 INSERT OVERWRITE、分区替换和条件提交,要按平台确认。SQL 本身不能提供跨表原子发布和并发锁。
-- 影子计算:使用固定输入与新 run_id,不写正式 DWD 分区
INSERT OVERWRITE TABLE dwd_trade_order_detail_stage
PARTITION (dt = '2026-11-16', process_dt = '2026-11-17', run_id = 'r02')
SELECT order_item_id,
order_id,
shop_id,
pay_time,
pay_status,
gmv,
source_shard_id,
cdc_event_version
FROM ods_trade_order_di
WHERE biz_date = '2026-11-16'
AND process_dt = '2026-11-17'
AND batch_id = 'trade_order_20261116_b01'
AND code_version = 'v20261116_02'
AND is_latest_event = 1
AND op <> 'D'
AND pay_status = 'SUCCESS';
-- 影子结果门禁:订单、明细、重复和 GMV 同时检查
SELECT COUNT(*) AS row_cnt,
COUNT(DISTINCT order_item_id) AS item_cnt,
COUNT(DISTINCT order_id) AS order_cnt,
SUM(gmv) AS gmv,
SUM(CASE WHEN order_item_id IS NULL THEN 1 ELSE 0 END) AS null_item_cnt,
COUNT(*) - COUNT(DISTINCT order_item_id) AS duplicate_gap
FROM dwd_trade_order_detail_stage
WHERE dt = '2026-11-16'
AND process_dt = '2026-11-17'
AND run_id = 'r02';
怎么验证:影子结果应达到源端契约的 1,000,000 个订单、1,200,000 个明细、12,480,000 GMV,并且每个分片、店铺、边界时间和抽样主键都能解释。这里的“达到”不是只看总数相等,还要看差集为空、重复为 0、删除和迟到规则已登记,DWS 与 DWD 口径一致。质量规则和结果必须绑定 r02,不能借用 r01 的通过记录。
发布锁要保护 dt = '2026-11-16' 的写入口。发布服务应读取当前 release_id,在条件仍满足时提交新版本;如果另一个任务先切换了版本,本次提交必须失败并重新取版本,不能覆盖对方结果。只在开始时检查一次“没有并发任务”会留下竞争窗口。
通过 / 失败 / 超时去向:所有强规则通过、发布锁有效且影子结果可追溯,进入步骤 6;任一强规则失败,保留 r02 证据回到步骤 3 或步骤 4;发布锁冲突则放弃本次提交,重新读取版本并串行处理;计算或验收超时则保持旧的已验收版本,提前通知 06:30 交付风险,不发布半批结果。
步骤 6:受控发布、回退并处理已经消费的结果
做什么:影子结果通过后,发布服务把 release_id 切换到 r02,并绑定源端快照、CDC 批次、代码版本、质量报告、操作者和发布时间。随后按血缘刷新 dws_trade_shop_pay_1d、ads_trade_dashboard_1d、缓存、导出和接口。不能只把 DWD 任务标记成功,就认为日报已经修复。
如果正式 DWD 或 ADS 已被错误版本覆盖,先查同一业务日是否有上一份合格版本。存在就按发布指针回退,再继续补算;不存在就保持日报入口阻断,由交付负责人决定是否提供带有日期和新鲜度说明的降级结果。上一业务日的结果不能伪装成 11 月 16 日。
如果 r01 已经被日报、看板、导出、接口或人工流程消费,要根据消费记录登记影响对象。可重算的下游用 r02 重建并刷新;已发出的导出要撤回、重发或附更正说明;已经触发业务动作的结果由业务负责人评估补偿。回退一张表不能撤销已经被读取或外发的数据。
怎么验证:检查正式查询入口返回的 release_id 是 r02;检查 DWS、ADS、缓存和导出使用相同业务日与版本;抽查源端的 4 个分片和 DWD 的 4 个分片;再次检查旧 run_id 是否晚到覆盖新版本;检查已消费 r01 的对象是否有处理记录。发布成功、缓存刷新成功和业务回查都要有证据。
通过 / 失败 / 超时去向:版本切换、下游刷新、消费影响处置和业务确认都完成,关闭本次对账;发布后出现新旧混读,立即停止继续传播,按变更清单回退同一业务日的合格版本并重新刷新下游;缓存、导出或接口未收敛,事件保持处理中并升级;到 06:30 无法完成验收,交付负责人决定继续阻断或明确标注的降级展示,数据团队不能自行静默放行。
事后预防
第一,为每日核心链路保存源端对账 manifest。清单至少包括业务日、时区、源端快照或事务截点、分片集合、CDC 位点、删除语义、DWD dt、process_dt、代码版本、口径版本、run_id、release_id 和下游清单。版本号必须能解析到实际数据,不能只保存 latest。
第二,把订单数、明细数、支付成功数和 GMV 作为不同指标监控。源端到 ODS、ODS 到 DWD、DWD 到 DWS 分别记录物理行数、去重主键数、订单数、GMV、NULL 数、重复数和差集数量。业务波动阈值只能做预警,已知 manifest 的完整性规则应作为强门禁。
第三,为 CDC 配置分片到齐、watermark、最大事件版本、删除事件落地和重复事件监控。max(event_time) 只能说明某个时间字段的最大值,不能证明所有分片完成;分片目录存在也不能证明内容齐全。CDC 接收延迟、处理延迟和业务事件延迟要分开统计。
第四,固定日期与时区契约。代码评审检查 pay_time 的转换、左闭右开范围、biz_date、dt 和 process_dt 的派生关系。抽取每天的 00:00、23:59:59、跨时区和迟到样本做回归。所有 JOIN 检查关联键非空、唯一性、有效区间和匹配基数,禁止用内连接悄悄删除孤儿明细。
第五,采用影子结果、版本发布和并发写保护。相同 run_id + 业务日 + 输入版本 + 代码版本 重试应幂等;正式分区只能由发布服务切换,不能由个人直接覆盖。发布锁或条件提交要防止旧实例晚到覆盖新版本,旧版本和校验报告保留到回退窗口结束。
第六,建立下游消费登记。缓存、看板、导出、接口和审计结果都记录 release_id;发现已消费的错误结果时,按消费记录刷新、重发、撤回或通知。监控同时覆盖“任务成功但质量失败”“检测超时”“发布成功但缓存未刷新”和“旧版本被继续读取”。
完整处理流程图
完整流程分成两段。第一段从冻结比较范围开始,先判断口径和水位,再按源端、ODS、DWD 找到首个差异层;红色路径表示证据不足或超时,不能进入发布。
读图:第一段的输出不是“已经修好”,而是一个固定的差异清单和可验证的修复假设。口径不同走业务确认;输入未齐走源端或 CDC 补齐;数据加工有证据才进入影子版本。
第二段从影子版本开始,经过质量验收、发布锁、下游切换和消费处置。已消费旧结果的处理与计算恢复并行,但都完成后才能关闭事件。
读图:发布锁只保护提交竞争,不能代替质量门禁;质量门禁只证明候选结果,不能代替缓存、导出和接口验收。只有版本一致、影响对象处理完、旧版本仍可审计,事件才算关闭。
常见追问
源端订单数是 1,000,000,DWD 明细行数是 1,200,000,算不算对上?
不能直接这样判断。先确认源端订单表和订单明细表的粒度,以及一个订单允许有多少个明细。应该同时比较源端 COUNT(DISTINCT order_id) 与 DWD COUNT(DISTINCT order_id),再比较 COUNT(DISTINCT order_item_id) 与源端明细数。还要检查订单到明细的基数、空订单键和重复明细。只有数据契约明确一订单一明细时,订单数与明细数才可以直接比较。
业务库一直在写,怎么保证源端查询和数仓对的是同一批?
优先使用源端一致性快照、只读事务或批准的导出快照,并记录 snapshot ID、事务截点和查询完成时间。若只能读取副本,要记录副本延迟,不能把两个时刻的独立查询声称为全局一致。CDC 对账还要固定源位点和分片完成标志。没有共同截面时,可以交付“按各自截点对比”的结果,但不能宣称精确一致。
迟到数据和删除数据怎么处理?
把业务事件时间与接收时间分开。先由业务确定本次结果的接收截止点;迟到数据在截止点前到达且允许纳入,就进入新的 run_id 重算,否则留在后续批次并记录未纳入原因。删除事件要沿源端 CDC 语义进入 ODS 和 DWD,不能只查询当前源端后把消失的记录当成历史漏数。每次补录和删除都要保留事件版本与审计记录。
为什么不直接把 `INNER JOIN` 改成 `LEFT JOIN`,让订单数补回来?
INNER JOIN 丢失明细时,先要证明是维表缺失、关联键错误还是业务上确实不允许进入结果。直接改成 LEFT JOIN 可能把孤儿明细带入报表,也可能把缺失维度包装成修复。正确做法是先保留未命中集合,检查关联基数、维表版本和有效期;业务允许未知维度时,再按明确规则进入“未知”类目,并将其作为质量指标监控。
只看 `MAX(pay_time)` 或源端任务 `SUCCESS` 能证明水位到齐吗?
不能。MAX(pay_time) 只代表查询结果里出现过的最大事件时间,无法证明 4 个分片都完成;任务 SUCCESS 只表示程序结束,也无法证明每个分片、删除事件和 CDC 位点都满足合同。应检查 manifest、分片完成标志、watermark、事件版本和接收心跳,缺一项就不能把输入判为完整。
对账结果已经被日报和导出消费,怎么处理?
先停止继续分发并标记旧 release_id 失效,按消费日志列出日报、看板、缓存、接口、导出和人工流程。可重算对象用新版本刷新;已发导出撤回、重发或附更正说明;已经触发业务动作的结果交业务负责人评估补偿。保留旧版本、差异清单和通知记录,不能只回退物理表就关闭事件。
修复前后总 GMV 对上了,是否可以发布?
不可以只凭总 GMV 放行。总量可能由一处重复和一处漏数抵消,也可能店铺归属或明细字段已经变化。至少要完成主键差集、重复、NULL、支付成功条件、分片覆盖、店铺分布、DWD 到 DWS 的汇总对账和下游版本检查。总 GMV 只是一个验收项,不是完整性证明。
如果 06:30 前修不完,最稳妥的处理是什么?
按交付风险通知值班负责人和使用方,保持上一份同业务日的合格版本;如果没有同日合格版本,就保持入口阻断,或者由有权限的负责人批准带明确日期和新鲜度说明的降级展示。不能发布半批数据,也不能把上一业务日结果伪装成目标日。超时本身要进入事故记录,后续补算、验收、发布和已消费结果处置仍要继续。