视频讲解/数仓建模

失败重跑与幂等

重跑一次,GMV翻倍了?

章节

  • 0:00 开场
  • 0:25 一句话回答
  • 0:47 两个事故
  • 2:00 原因一 · DAG 与依赖
  • 4:10 原因二 · 幂等写入
  • 6:05 原因三 · 补数顺序
  • 6:43 三个补充概念
  • 7:40 一棵决策树
  • 8:16 面试回答模板
  • 8:59 高频追问
  • 10:58 总结

文稿

开场

任务重跑了一次,看板上的 GMV 直接翻倍:1000 万变成了 2000 万。调度上全是绿的,第一次失败,第二次成功,可数据已经错了。面试官问数仓调度,不是想听你说「我们用 Airflow 或者 DolphinScheduler」。他想听的是四件事:依赖怎么拆,任务失败怎么重跑,重跑会不会重复写数据,补数怎么保证上下游一致。

一句话回答

一句话回答:按数据分层和业务链路组织 DAG,再用五样东西保证失败重跑幂等:分区覆盖写、状态水位、依赖检查、重跑隔离、质量校验。状态水位,就是记下每张表已经稳定产出到哪个日期,下游据此判断能不能跑。下面先看调度设计不好,会出哪两种事故。

两个事故

痛点一:上游还没跑完,下游先跑了。比如 ODS 订单还没同步完,DWD 订单清洗任务就按时间启动了。结果 DWD 只清洗了一半数据,DWS 汇总跟着少一半,ADS 看板上的 GMV 也少了一半。关键是,这几个任务可能全都显示成功,但数据已经错了。就像食材还没送齐,厨师就开始做菜:菜能端上桌,但味道肯定不对。痛点二:失败重跑,导致重复数据。任务用 INSERT INTO 追加写,第一次运行写了一半,北京和上海两行写进去了,然后任务失败。第二次重跑,又把三个城市完整追加了一遍。北京和上海各出现两次,GMV 从 1000 万变成 1800 万。如果第一次其实已经写完,只是最后一步报错,重跑后就是整整翻倍。数仓任务最怕的就是:重跑以后,数据更错了。所以要求任务幂等:同一个分区、同一个任务,跑一次和跑十次,最终结果都一样。补一个前提:输入不变,也就是上游还是同一份分区数据;SQL 里也不能有随机数、当前时间这类每次都不一样的计算。

原因一 · DAG 与依赖

进入核心论证。原因一:调度 DAG 要按分层和数据日期来组织。健康的链路是:ODS 先完成,再跑 DWD,再跑 DWS,最后跑 ADS。以 7 月 8 日这个分区为例:订单增量表和用户全量表,一起汇入 DWD 订单明细,再汇总成 DWS 城市交易表,最后产出 ADS 交易看板。中间还要插两道质量检查:DWD 质量校验通过,才跑 DWS;DWS 的 GMV 对账守恒,才跑 ADS。每个任务都要带业务日期 biz_date 或分区 dt,不要在 SQL 里写死日期,也不要把多个日期混在同一个任务里跑。调度依赖有六条建议,先看前三条。日期参数:所有任务用统一的 biz_date;写死日期的 SQL,补数时根本改不过来。层级依赖:严格按 ODS、DWD、DWS、ADS 挂依赖;按时间猜上游几点跑完,数据就可能不完整。质量依赖:核心质量规则通过以后,下游才启动;质量检查如果只是异步告警、不阻断,错数就会直接暴露给业务。再看后三条。粒度拆分:按主题、按表拆任务;一个大 SQL 包住所有逻辑,出了错很难排查。重跑范围:按分区重跑,不要动不动全表重跑,成本太高。SLA:核心链路设截止时间;所有任务同一个优先级,重点就不突出。这些依赖,在调度系统里都有对应的配置。同一天的上下游,叫同周期依赖:Airflow 默认所有上游都成功,下游才启动;DataWorks 会按代码里读写的表,自动解析出上游。如果今天的任务要用昨天的结果,就配跨周期依赖;依赖自己的上一个周期,叫自依赖。Airflow 里是 depends_on_past,DataWorks 里是「依赖上一周期:本节点」。自依赖的任务补数时,会按日期一天一天往后跑,这对累计类的表很重要。但要注意:这些配置看的都是任务状态,任务成功,不代表数据就对了,后面还会讲。

原因二 · 幂等写入

原因二:幂等写入,优先用分区覆盖。离线数仓最常见的做法是:重跑 7 月 8 日时,用这一次的完整结果覆盖这个分区,而不是往里追加。流程是:确定要重跑的分区,从上游同分区重新计算,写入完整结果,替换掉目标分区。这样不管跑几次,这个分区最终都是同一份结果。看 SQL 对比:风险写法是 INSERT INTO,追加写,重跑就可能重复。推荐写法只改一个词:INSERT OVERWRITE,覆盖目标分区,保证幂等。两段 SQL 的查询部分一模一样,都是从 DWD 取 7 月 8 日的数据,按城市汇总 pay_amount。区别只在写入方式:一个往分区里加,一个把分区整个换掉。对离线分区表来说,INSERT OVERWRITE 是最朴素、也最有效的幂等手段;前面专题讲过,这就是分区幂等。覆盖分区之外,幂等写入还有两种常见做法。第二种是先删后写:先删掉目标分区,再 INSERT INTO。Hive 文档里,事务表禁用覆盖写时,给的替代写法就是这个。但删和写是两步,中间有一段时间分区是空的,下游这时来读,就会读到空数据。第三种是按主键合并:MERGE INTO,主键匹配上就更新,匹配不上就插入,也就是 upsert。同一批数据合并十次,结果还是一样,适合主键表、湖表和增量合并;拉链表这类历史表,前面专题讲过。还有一个细节:覆盖写本身,也不是一瞬间完成的。在 Spark 3.5 的数据源表上,默认是静态覆盖模式:先删掉匹配的分区,再开始写。作业要是中途失败,这个分区可能已经被删空,或者只剩半截。所以核心表不要直接往正式分区写,后面会讲临时分区。

原因三 · 补数顺序

原因三:补数重跑,要有范围,也要有顺序。补数不是点一下失败任务就完事。比如 DWD 订单在 7 月 1 日到 7 月 7 日的逻辑修复了,影响 7 天。先重跑 DWD 这 7 个分区,质量校验通过以后,再按同样的日期范围重跑 DWS,然后是 ADS。必须按日期和层级的顺序执行:上游没刷新完,下游就重跑,等于又拿旧数据算了一遍。最后通知业务:历史数据已经刷新。影响范围怎么列清单、累计类的表为什么要按天串行,前面专题讲过,这里不展开。

三个补充概念

接下来是几个补充概念。第一,依赖检查不能只看任务成功。上游任务成功了,目标分区可能没数据;分区有数据,质量校验也可能没通过。所以依赖最好分三类:任务状态依赖、分区数据依赖、质量结果依赖。上游任务成功,上游分区存在而且行数大于 0,核心质量规则通过,三项都满足,下游才启动。第二,临时表和最终表要分开。复杂任务可以先写临时分区,质量校验通过以后,再交换到正式分区。失败的任务只会留下一个临时分区,半成品不会暴露给下游。第三,回滚也要提前设计。新逻辑上线以后发现数据异常,要能回滚到上一版数据,或者上一版 SQL。做法有两种:核心表保留最近 N 天的快照,或者在发布前先备份目标分区。

一棵决策树

把这些串起来,就是一棵决策树。第一问:是否按层级拆了 DAG?没有,就先把 ODS、DWD、DWS、ADS 的依赖拆清楚。第二问:任务是否按 dt 分区幂等?没有,就改成分区覆盖写,统一 biz_date。第三问:下游启动前,是否检查了分区和质量?没有,就加上分区检查和质量依赖。第四问:失败补数,能不能按范围重跑?没有,就建设补数参数和重跑顺序。四个问题都是「是」,才算形成稳定的调度闭环。

面试回答模板

面试可以这样回答。我会按数仓分层和业务主题设计 DAG:ODS 同步完成后跑 DWD 清洗,DWD 质量校验通过后跑 DWS 汇总,最后跑 ADS 看板。所有任务都用统一的业务日期 biz_date,按分区处理。幂等上,离线分区表优先用 INSERT OVERWRITE 覆盖目标分区,避免失败重跑时重复追加;复杂任务先写临时分区,校验通过再发布到正式分区。下游启动不能只看上游任务成功,还要检查分区存在、行数合理、质量规则通过。补数时,按影响的日期范围和层级顺序重跑,保证上游修复后,下游同步刷新。

高频追问

常见追问一:为什么说任务成功,不等于依赖满足?因为任务成功只代表程序没有报错,不代表目标分区有完整数据。比如源头少同步了一个分库,任务照样成功;SQL 过滤条件写错,结果为空,也可能成功。所以核心链路的下游启动前,要检查上游分区、行数和质量规则,而不是只看调度状态。追问二:INSERT OVERWRITE 一定安全吗?大多数离线分区表很适合,但要注意覆盖范围:只能覆盖目标分区,不能误覆盖全表。动态分区写入有两个坑。第一个:Spark 数据源表默认是静态模式,PARTITION 里只写 dt、不给值,就会匹配所有分区,整张表先被删掉。Hive 默认的严格模式,要求至少指定一个静态分区,就是为了防这种误覆盖。第二个:改成动态模式以后,只会替换这次有输出的分区;某天重跑结果为空,旧数据原样留着,并没有被覆盖。另外,需要保留变更历史的表,不能简单覆盖,要用拉链表、增量合并或者版本化写入。追问三:补数时,怎么避免影响当天的正常调度?补数最好走独立的补数队列或者低优先级资源池,不要抢当天核心任务的资源。补数要带明确的日期范围,不要误跑当天分区;同一个分区,也不要让补数和日常任务同时写。核心下游在补数完成前要不要刷新,要和业务约定;必要时先写临时表,校验后再切换正式分区。追问四:调度粒度应该大还是小?太大不好排错,一个任务失败影响一大片;太小又会让任务数量爆炸,依赖关系变复杂。比较稳的做法,是按主题域、层级和核心表来拆:核心公共表单独成任务,边缘报表可以合并。判断标准就两条:失败时能不能快速定位,重跑时能不能控制影响范围。

总结

最后收个尾:调度先管顺序,按分层和日期组织 DAG。依赖不只看任务成功,还要看分区和质量。写入要幂等:覆盖分区、先删后写、按主键合并,核心表先写临时分区。补数要有范围,也要有顺序。做到这些,任务失败了,放心重跑就行。

看完去做题