补数多跑一遍,GMV为何翻倍?
补数任务多跑了一遍,昨天的 GMV 直接翻倍,从 5000 万变成 1 亿。数据确实晚到了,补也补了,错在只会说一句:重跑一下。晚到数据和补数重跑,面试真正想听的是五件事:什么叫晚到,会影响哪些层,补数范围怎么定,重跑怎么保证幂等,历史指标要不要刷新。
一句话回答:先判断影响范围,再按四步处理。分区幂等、血缘下游、质量校验、业务通知,不能只重跑一个任务就完事。
先看第一个痛点:今天才到的数据,业务日期却是昨天。用户 7 月 8 号 23:59 支付,消息 9 号 00:10 才进 Kafka,晚了 11 分钟。也可能是 MySQL 同步任务延迟,数据拖到第二天才落地。到达时间是今天,业务发生时间却是昨天。如果只按到达日期入仓,昨天的 GMV 少算,今天的 GMV 虚高。按业务日期入仓,就要写回 7 月 8 号分区,也就是要补昨天。就像今天收到昨天寄出的快递,记账算昨天发货还是今天收货,不同业务答案不同。
第二个痛点:只补 DWD,不补 DWS 和 ADS,下游还是错的。很多新人补数,只重跑出问题的那张表,比如 DWD 订单明细。可 DWS 汇总和 ADS 看板,早就基于旧的 DWD 产出了。不沿血缘往下重跑,看板上还是少数据的旧结果。正确做法:DWD 补完,重跑 DWS,再重跑 ADS,看板才刷新正确。补数不是修一张表,而是修一条链路。
核心论证第一点:先分清业务日期和处理日期。业务日期是数据真实发生的日期,比如订单的支付时间。处理日期,是数仓任务处理这条数据的日期。同一个订单事件,pay_time 决定它写进 dt 等于 7 月 8 号的分区;etl_time 记下 9 号 00:10 的处理时间,用来分析数据延迟。所以离线数仓通常按业务日期入分区,同时保留处理时间,方便追踪晚到。注意边界:ODS 贴源层常按同步日期落盘,从 DWD 开始才按业务日期归属。把六个概念放进一张表。业务时间是事件真实发生的时间,用来做指标归属;到达时间是进入采集系统的时间,比如 Kafka 写入,用来判断延迟;处理时间是 ETL 执行时间,用于运维追踪;业务分区按业务时间切分,比如 dt 等于 7 月 8 号,给报表统计用;补数窗口是允许回刷的时间范围,比如最近 3 天;冻结窗口是不再自动改历史,比如 T+7 之后冻结,保持报表稳定。
第二点:晚到处理要有窗口策略,不是所有历史都无限回刷。常见做法:T+1 正常产出,晚到数据进昨天分区,下游自动重跑。T+3 以内,进入晚到修正窗口,自动补数,补完做质量校验。T+7 以后冻结历史,走审批补数,业务确认后才回刷。注意这组数字中间留了空档:第 4 到第 7 天怎么办?规则必须覆盖每一天,比如超过 3 天就转人工确认。这些天数也只是示例,要按数据延迟分布和结算节奏来定。这样既能保证数据准确,也不会让很久以前的报表天天变。
第三点:补数必须按血缘和分区幂等执行。先确定受影响的业务日期和上游表,比如晚到订单属于 7 月 8 号。再沿血缘找下游:DWD 订单明细,到 DWS 交易汇总,再到 ADS 看板。日期范围也要沿血缘算。如果下游有近 3 天的滚动指标,8 号的数据会影响 8 号、9 号、10 号三天的输出,补数日期就是 8 号到 10 号。累计类的表,还得从 8 号开始,按日期一天一天串行往后跑。
每个分区用覆盖写保证幂等。看这段 SQL,补 7 月 8 号的 DWS 分区。INSERT OVERWRITE 指定 dt 等于 7 月 8 号,读 DWD 同一天的支付成功订单,按城市汇总 GMV 和去重订单数。覆盖写会把整个分区替换掉,同样的输入跑十次,结果都一样,这就是幂等。换成 INSERT INTO 就是追加,重跑一次,这一天的 GMV 就翻倍,正是开头那个事故。覆盖写也有前提:必须从完整输入,重算整个分区。如果只拿晚到的那几条去覆盖,分区里原来的数据会被整片替换掉。一次补多天用动态分区时,还要看引擎:Spark 数据源表默认静态模式,会先删掉所有匹配的分区;动态模式只覆盖有结果的分区。补数前,先确认表类型和覆盖模式。
调度平台都有补数据功能,但不能点一下就放心。DataWorks 可以选当前节点及下游,按业务日期区间补,前一天全部成功才跑下一天。链路中间没有权限的节点会空跑,直接返回成功,下游拿不到数据。DolphinScheduler 的补数依赖模式,只触发直接依赖它的下游工作流。所以补数范围要拿血缘清单逐层核对,不能全靠平台自动带。
完整补数流程:确定补数日期 7 月 8 号到 10 号,先重跑 DWD 分区,做质量校验,再重跑 DWS 分区和 ADS 分区,对账通过后,最后通知业务:哪些历史数据刷新了。
补充第一点:自动补数和人工补数怎么选?短窗口内的晚到数据适合自动补,比如最近 3 天的订单。长历史、大范围、影响财务口径的补数,要人工审批。自动补数追求及时,人工补数追求可控。
补充第二点:补数前最好备份目标分区。核心表补历史分区前,先备份原分区,或者记录版本号。然后执行补数重跑,再看质量是否通过。通过就发布新分区;不通过就回滚到备份分区,不至于越补越乱。
补充第三点:补数后要解释指标变化。老板昨天看到 GMV 是 5000 万,今天补数后变成 5050 万,业务需要知道这多出来的 50 万从哪来。核心指标补数要有变更说明,尤其是财务、结算和经营看板。
把整套流程收成一棵决策树。发现晚到数据或需要补数,先确认业务日期和影响范围。在自动修正窗口内,就自动补对应分区;不在窗口内,走审批,先备份历史分区。两条路汇合后沿血缘找下游,按 ODS、DWD、DWS、ADS 的顺序重跑。然后做质量校验和对账。通过就发布并通知业务;不通过,就回滚或者继续修复。
面试可以这样答。先区分业务日期、到达时间和处理时间。指标通常按业务日期归属,晚到数据要写回对应业务分区,而不是简单算到当天。处理上先判断晚到范围,比如 T+3 内自动修正,更久的走审批补数;然后沿血缘找受影响的 DWD、DWS、ADS 表,按层级顺序重跑对应分区。重跑必须幂等,离线表优先用分区覆盖写,核心表补数前先备份分区。补完做行数、交易规模和核心指标对账,通过后再通知业务历史数据已刷新。判断补数方案好不好,就看三点:能不能控制范围、可回滚、可解释。
最后是四个高频追问。追问一:晚到数据应该算到哪一天?大多数业务指标按业务发生时间归属,支付 GMV 按支付时间算,不按到达时间。但运维类指标按处理时间看,比如今天处理了多少延迟数据。所以先明确指标语义,不同指标可能有不同的归属时间。追问二:补数为什么不能只补一张表?因为下游 DWS、ADS 已经基于旧数据产出,只补 DWD,汇总和看板还是旧结果。要沿血缘找下游,按层级和日期范围重跑,确保整条链路一致。追问三:历史分区能不能无限自动刷新?不建议。无限刷新会让历史报表天天变,业务没法解释趋势。一般设自动修正窗口:最近 3 天自动补,超过 7 天冻结,要审批并通知业务。财务、结算类指标尤其要谨慎。追问四:补数怎么保证不重复?离线分区表,用 INSERT OVERWRITE 覆盖目标分区;或者先写临时分区,校验通过后再替换正式分区。用 Hive 的 EXCHANGE PARTITION 换进来时,正式表不能已有这个分区,要先把旧分区挪去备份。增量表按主键去重或合并。Hive 的 MERGE 只支持事务表,而事务表不能直接 INSERT OVERWRITE,要先删分区再写入。核心原则:同一个补数任务跑多次,最终结果一致,这就是幂等。
所以别再只说重跑一下。定口径、定范围、保幂等、可回滚、可解释,补的是一整条链路。