32 道场景题。围绕数仓开发中的真实问题,练习判断依据、排查顺序、处理方案和验收边界。
先把“做个活动效果报表”还原成一份有决策对象、明确粒度和口径、数据证据与交付 SLA 的可验收约定;先解决会改变结果的阻塞项,非阻塞项写入假设后可逆推进,最终用样例、对账差异、质量规则和业务责任人验收,任务成功只作为计算证据。…
从一张有负责人和验收口径的店铺支付日报切入,先画业务过程与粒度,再固定输入和维度版本,按 ODS、DIM、DWD、DWS、ADS 分工完成可重放加工,以源端对账、调度验收和消费确认决定是否发布;失败、并发冲突或超时就停止传播,恢复已验收版本…
先冻结当前发布和并发写入,固定不可变的 B17 输入,沿固定证据链验证源端状态、删除、权限、口径和扫描范围;能在 09:00 前拿到完整证据就发布隔离修正版,拿不到就阻断并升级。随后把共享事实沉淀到 DWD、共享汇总沉淀到 DWS,按契约和…
先盘点迁移对象并冻结数据契约,用同一输入截面完成历史校验与增量双跑,验证真实身份下的权限、时效和成本,再按发布版本逐批切读;旧链路持续追平,异常立即止住传播并恢复消费链,观察和恢复期限结束后才退役。…
先盘点直接和间接依赖,按结构、语义与读取方式判断兼容性,保留旧契约并隔离生成新版,在批准的窗口内分批切换、逐级验收;发现异常就停止传播并恢复整条消费链,全部消费者完成迁移后才下线旧版。…
先冻结两张报表的查询条件与输入版本,判断同名指标是否同口径,再按共同维度定位差异,依次下钻到主键、字段、关联和汇总,最后用影子结果、下游版本和业务确认关闭;任何证据冲突或超时都并行升级,不能靠总数相等放行。…
先冻结同一业务日和同一支付成功口径,固定源端快照、CDC 水位、数仓 dt 与处理分区,再按订单数、明细数、gmv 和主键集合逐层对账;差异可解释且影子结果通过质量门禁后才发布,重复、漏数、迟到、删除、版本冲突或超时都保留旧结果并升级。…
先固定口径、事件日、输入截点和版本,再对支付正向、退款负向事实去重、补算和分桶对账;实时修正快照与 T+1 日报须在同一不可变输入上逐层一致,通过质量检查和消费验收才算对齐,失败或超时就停止发布并升级。…
先固定业务日期、版本和基线,再同时核对业务活动、源端分片与水位;沿过滤、去重、JOIN、分区和时区逐层钻取,定位首个差异点后用影子结果做质量验收,门禁通过才发布,失败或超时就阻断、回退并升级。…
把任务状态和数据质量分开:先锁定业务日期、批次、版本与并发实例,再对输入到输出检查行数、主键集合、分区覆盖、关键字段非空、业务日完整性和上下游水位;质量通过才发布,失败就告警、升级、隔离并修复,最后用影子结果、版本切换、下游刷新和回退验证恢…
先按消费用途约定核心表的粒度、输入范围和交付期限,再配置完整性、及时性、唯一性、准确性、一致性、有效性、波动性和业务规则;按失败后果、证据可信度与可恢复性分成强规则、软规则和观察规则,绑定同一数据版本验收,通过才受控发布,失败或超时按级别处…
先保护核心数据发布,再用稳定事件标识去重、按根因聚合和分级路由减少重复通知,给抑制与静默设置范围和到期时间,最后以确认、升级、质量复验、下游恢复和漏报回查完成闭环;验收看重要事故能否及时发现并有人处理,不能只看群消息少了多少。…
先冻结错误发布,保留版本、查询上下文与运行证据,再确认影响范围和异常类型;旧版本先锁定为候选,修复结果隔离生成,当前影响范围、DQC、业务对账、受控下游刷新和业务复核全部通过后才切换消费指针,线上读取确认正常后关闭事件、恢复发布。…
先定义业务真正要用到的产物、业务日期、时区和可用时间,再从这个时间倒推上游到齐、调度等待、计算、DQC、发布、下游刷新和缓冲;随后按链路重要性配置硬规则、软规则、超时、重试、升级和降级,最后用质量、版本、刷新和业务确认共同验收恢复。…
先核对 06:30 承诺的对象和验收标准:若是最终交付 SLA,07:00 才启动就已违约,要记录、通知并尽快恢复;若实际只是上游预期到齐时间,则按真正交付期限倒推最晚安全启动,凭当前证据决定等待或升级,最后以质量通过、下游可用和实际交付时…
先按业务日期、目标分区、输入批次和上游实例核对“这批数据是否真的到齐”,再用心跳或位点、批次完成标志和质量门禁定位原因,沿关键路径升级和处置,最后以幂等补跑、质量对账、下游补偿和通知闭环作为恢复标准。…
先以业务截点为准确认受影响日期、错误版本、依赖链和下游消费,再为可重算事实、历史维表版本、迟到数据和口径变更分别建立清单;固定输入和代码后按天分批生成影子结果,逐批做完整性、关联、指标和下游校验,通过发布窗口原子切换并保留旧版本,任何失败都…
先确认要重现原发布结果还是按修正后的事实重算,再找齐并固定每张输入表与代码环境的版本,隔离试跑、校验有效期关联和分区差异,通过后幂等发布;缺少可恢复历史就停止承诺精确重现。…
先固定业务日期、实例、代码和输入范围,按墙钟时间拆出等待、排队、运行、发布四段,再对照计划分区、实际分区、候选文件、reader / task input、FileScan numOutputRows、去重结果和 stage / task …
先还原 Spark SQL 3.5.x + Parquet 的实际 SQL 和日期口径,确认 dt 是否真是可用的分区列;再用 EXPLAIN FORMATTED 看 PartitionFilters 等计划谓词,最后用 Spark UI …
先用任务实例和资源证据区分“没提交、在调度、拿不到合适资源、AM 未启动、执行慢、外部 IO”等状态,再按 06:30 最终可用时间倒推最晚启动点;先限制非核心新提交和受控错峰,随后做资源保底或受支持的优先级 / 抢占,最后以质量、版本、发…
先建立可追溯的任务账本,按周期频率、关键性、可回收资源、实施成本、风险和证据置信度分层筛候选,再用单变量小批实验验证结果质量、尾延迟、失败重试、成本或容量,最后通过版本发布、并发写保护、回退和错误更正完成闭环。…
先拆出扫描、Join、Shuffle 的耗时,再用源协议绑定的 W0 一致快照和 (W0,W1] 完整日志形成 W1 状态,按变更前后及维度变化涉及的日期重建,用同为 W1 的全量结果对账,条件发布确认后才推进水位;失败先查证提交状态,回退…
先固定业务量、SLA、数据质量、代码版本和资源计费口径,建立可追溯的成本账本,再按成本构成与运行证据定位高占用环节,用一次只改一个变量的实验验证,经过灰度、质量门禁和发布回退后,以前后同口径总成本、单位业务量成本、结果完整性和下游交付都通过…
先把每条账单和唯一资源证据对上,再区分直接成本、共享成本、平台固定成本和未归属成本;对共享项只选一个可解释 driver,经过 owner 审批、权重和为 1、总账对账、封账与更正后,发布业务线、平台、未归属三类合计严格等于总账的 show…
先按分区数、文件数、单分区大小、Metastore / 目录服务延迟、查询规划耗时和对象存储 list 耗时拆分瓶颈,再锁定可改的分区键和查询口径,选择降粒度、冷热分表、列或 bucket 替代业务分区、合并小文件或分层迁移;迁移必须经过版…
先把表、分区、物化结果和对象存储副本登记清楚,再联合平台访问日志、调度依赖、血缘、BI 查询、临时脚本、服务账号和人工 owner 形成证据;将对象分成未使用、未知、低频和隐式依赖,经过通知和示例观察期后先软下线,完成数据保留、权限、审计、…
先确认物理容量、增长速度和真实占用构成,再按“可重建且不影响读取”的风险顺序止血,随后把冷数据迁到有清单和校验的存储,最后分批回收并验收下游;每一批都保留负责人、审批、恢复窗口和回退路径。…
先锁定需求验收、输出粒度和影响范围,再用小数据审语义与 Join 基数,核对分区、重跑、资源及权限,最后凭测试和质量门禁决定能否合并;生产发布与历史补数另走审批,不能用任务成功或总量相等代替验收。…
先核实申请与最小范围,再按字段敏感性选择查询或导出权限,经过审批和双人复核后才执行;用水印、加密、审计和到期回收控制过程,若材料缺失、超时、误发或用途变化就拒绝、撤销、通知、追踪并做影响评估。…
先把问题、指标定义、数据粒度、时间边界和授权范围固定下来,再让 AI 基于版本化元数据与术语检索提出候选 SQL。候选 SQL 依次经过语法与资源检查、受控只读验证、独立结果对账和业务确认,之后才能发布为只读查询或由人工批准进入生产。失败、…
先按数据分类确定模型可见范围,再让隔离环境只通过白名单工具访问最小数据集;请求前审提示词、Schema 和样例,执行中审 SQL、权限和工具回执,输出后审结果、日志、缓存和供应商留存,任何一步失败或超时都阻断请求并升级,若已经误传就先撤销密…