72 道数仓建模面试题。
数据仓库是面向分析的历史数据中心,核心特征是面向主题、集成、相对稳定、反映历史变化;数据库是面向业务交易的当前数据系统,核心目标是高并发增删改查和事务一致性。…
数仓分层的本质是三个词:复用、隔离、可控。…
事实是发生的业务事件,维度是观察这个事件的角度,指标是基于事实按维度和口径计算出来的数值结果。…
宽表能提升查询性能,本质是把下游反复做的多表JOIN、维度关联、公共计算和指标加工提前做掉,用一定的存储冗余换取查询时的低计算、低Shuffle和低SQL复杂度。…
离线数仓处理"昨天的数据",实时数仓处理"刚才的数据"。两者不是替代关系,而是互补关系——大部分公司是离线为主、实时为辅,根据业务对延迟的要求选择用哪条链路。…
全量表存某一批次的完整数据,增量表存一段时间内发生变化的数据,快照表存某个时间点的业务状态;实际项目里用什么表,核心看你要的是"当前全貌"、"变化过程",还是"历史状态还原"。…
行式存储把一行数据的所有列连续存放,适合按行读写(OLTP);列式存储把同一列的所有值连续存放,适合按列分析(OLAP)。大数据分析场景几乎都选列式存储,核心原因是:只读需要的列,IO量减少90%以上;同一列数据类型相同,压缩率高5-10倍…
ETL是"搬运前先加工",ELT是"先搬进来再加工"。大数据时代ELT越来越主流,因为大数据平台的算力够强,先加载再用Spark/Flink在平台内部做转换更高效。…
Lambda架构用批处理+流处理两条链路同时跑,批处理保证准确性、流处理保证实时性,查询时合并两者的结果;Kappa架构只保留流处理一条链路,通过消息队列的重放能力替代批处理。Lambda更稳健但维护成本高(两套代码),Kappa更简洁但对…
Parquet 和 ORC 都是列式文件格式,Parquet 更通用、跨引擎兼容性最好,ORC 更偏 Hive 体系、索引和统计信息更细;实际选型看你更在意“通用流转”还是“Hive 内部深度优化”。…
数据仓库是企业级、面向全局的数据底座;数据集市是面向某个主题、部门或分析场景的数据子集;ADS 是面向具体应用交付的数据服务层。 数据集市可以由数仓中的 DWS/ADS 模型实现,也可以作为独立的数据服务区,但它不等于 ADS,更不等于一张…
下钻是从高层级看更细层级,上卷是从细层级汇总到高层级;切片是在某一个维度上固定一个条件,切块是在多个维度上同时筛选一个子立方体。下钻/上卷主要改变“数据看到了哪一级”,切片/切块主要改变“分析哪一部分数据”。…
DWD放可复用的明细事实,DWS放按主题沉淀的公共汇总指标,ADS放面向具体看板和业务场景的结果表;判断边界就看三件事:粒度、复用范围、消费对象。…
主题域的划分标准是按业务过程分类,核心原则是高内聚、低耦合——同一个域内的表强相关,跨域之间的依赖尽量少。…
DWM 更像 DWD 到 DWS 之间的公共中间加工层,放跨表、跨域、可复用但还没到最终汇总口径的中间结果;DWS 是主题汇总层,放面向多个下游复用的公共指标宽表。…
ADS 应该面向具体应用做轻量组装和展示适配,不能承接大量清洗、核心指标计算和复杂 Join;否则会导致口径分散、性能变差、复用性消失、维护成本爆炸。…
DWS 公共汇总模型的核心是围绕主题域,把下游高频复用的指标按统一粒度、统一维度、统一口径提前聚合,减少 ADS 重复计算和指标不一致。…
DWD 明细层的目标是把 ODS 原始数据加工成干净、唯一、标准、可复用的一行一个业务事件,核心动作是去重、清洗、标准化、维度退化和质量校验。…
ODS 保留原始字段,是为了保证数据可追溯、可重放、可审计;DWD 拆分和标准化字段,是为了让下游拿到语义统一、类型稳定、可以复用的明细数据。简单说:ODS 保存证据,DWD 提供统一答案。…
可复用、标准化的明细事实或稳定标记放 DWD;口径稳定、多个下游复用的公共汇总组件放 DWS;面向单个看板的比率、排名、展示和临时规则放 ADS。临时需求可以先落临时 ADS,但不能用“临时”掩盖 DWD 明细语义缺失。…
ODS 原样接住源系统字段并保证兼容,DWD 保留原始状态码并转换成统一业务语义,DWS 和 ADS 只按实际消费需要改;如果新状态参与聚合或筛选,要重新评估表粒度、指标口径、历史回填和下游血缘,不能机械地全链路加列。…
业务域是业务世界的边界,主题域是数仓分析的边界,数据域是数据资产和治理的边界。 例如“交易”可以是一个业务域,也可以对应一个交易主题域;如果从数据治理角度管理订单相关表、负责人、敏感等级和生命周期,也可以形成订单或交易数据域。三者有关联,但…
主题域负责划定业务边界,DWS 负责在这个边界内沉淀可复用的公共汇总。 DWS 的数据来自 DWD 明细和 DIM 维度,建设时先确定所属主题域,再确定分析对象、统计粒度、周期、维度和指标;所以更准确的说法是“DWS 按主题域组织建设”,而…
ODS 应完整保留原始 JSON 和采集元数据,保证可追溯、可重放;DWD 将语义稳定、高频使用、需要统一类型和口径的键拆成独立字段;低频、稀疏、频繁变化的键继续保留在扩展 JSON 或 Map 中,多值数组按独立粒度拆子表。正确方案通常是…
数仓分层不是越多越好,核心是看每一层有没有独立价值:是否承担清洗、粒度转换、公共复用、口径隔离或质量校验等明确职责。如果某一层只是透传字段、没有独立消费者,也没有独立治理边界,就可以考虑合并;但原始数据保留、明细与汇总粒度、公共指标复用和重…
同一份明细可以被多个主题域消费,但原则上只保留一个权威归属和一个主要维护方;归属应按明细所描述的核心业务过程、业务语义定义权和源头责任确定,而不是按使用部门确定。 其他主题域应通过公共明细、数据契约或受控派生表复用;只有产生了新的跨域关系或…
ADS 可以在同一个应用边界内被有限复用,例如同一看板的基础结果继续生成榜单和导出表;但不应成为多个独立应用的公共数据源。 一旦某段逻辑口径稳定、粒度统一、被多个报表或接口复用,就应按语义上移:标准明细放 DWD,公共汇总放 DWS,动态公…
DWS 可以依赖另一张 DWS,但必须是有明确语义层级的单向依赖,并保持整体血缘是一张无环 DAG。 推荐方向是从细粒度到粗粒度、原子指标到派生指标、域内权威汇总到跨域组合汇总;如果两张 DWS 互相需要对方的字段,应把共同逻辑下沉到 DW…
DWS 不能只存比率,因为比率是不可直接累加的派生结果,单独保存会丢失样本规模,导致跨时间、跨渠道汇总失真,也无法支持口径调整和数据对账。正确做法是按同一粒度、同一统计范围保留分子和分母,比率可以作为查询加速字段冗余保存,但上卷时必须使用 …
技术上报表可以查询 ODS,但生产报表通常不应该长期直接依赖 ODS。 ODS 主要负责完整保留源数据和同步痕迹,不承诺去重、口径统一、字段稳定、查询性能与数据脱敏;正式报表应优先消费 DWD、DWS 或 ADS。只有数据探查、源端核对和有…
DWD 可以做不会破坏目标明细粒度的技术聚合,例如去重、状态还原、源记录归并和事件级派生;但不应做把多个业务实体按日期、地区、渠道等维度汇成指标的分析聚合。 判断边界不看 SQL 里有没有 SUM 或 GROUP BY,而看加工后的一行是否…
范式建模以实体关系和减少冗余为核心,适合业务库和数仓底层整合;维度建模以业务过程、事实表和维度表为核心,适合 OLAP 分析层,用一定冗余换查询性能和易用性。…
事实表记录发生了什么事(动词:下单、支付、点击),核心是可以做数学运算的度量值;维度表描述事情的上下文(名词:谁、什么商品、哪个城市、什么时间),核心是用来筛选和分组的描述属性。判断标准:能SUM/COUNT/AVG的放事实表,能GROUP…
大数据数仓几乎都选星型模型,核心原因就一句话:存储便宜,计算贵,用空间换时间。…
事实表常见有三大类:事务事实表记录一次业务事件,周期快照事实表记录固定时间点的状态,累积快照事实表记录一个业务流程的生命周期;面试里再补一句无事实事实表,用来记录没有度量值但需要统计发生关系的场景。…
自然键是业务系统天然存在的标识,比如 userid、skuid;代理键是数仓生成的无业务含义主键,比如 usersk,它用来屏蔽业务键变化,并让事实表精确关联到某个历史版本的维度记录。…
缓慢变化维(SCD)解决的是维度属性会变化的问题(用户改了城市、商品调了价格)。三种处理方式:Type 1直接覆盖丢历史、Type 2拉链表保留完整变更历史、Type 3加列只保留最近一次变更。生产环境用得最多的是Type 2拉链表——用 …
数仓选宽表还是窄表的核心判断标准就一句话:下游要不要做JOIN? 如果下游频繁JOIN才能出数,就打成宽表;如果数据本身结构清晰、下游按需取用,就保持窄表。DWD层用窄表保原子性,DWS/ADS层用宽表保查询效率。…
事实表设计先定业务过程,再定粒度,然后选维度和度量;DWD 层要保留原子明细粒度,事实表按场景分为事务、周期快照、累积快照和无事实事实表,度量要区分可加、半可加、不可加,NULL 要按业务含义处理,不能一律填 0。…
数据仓库总线架构是 Kimball 维度建模里的规划方法:先列业务过程和公共维度,形成总线矩阵,再按业务过程逐步建设事实表,并通过一致性维度把各数据集市连接起来。…
退化维度是没有独立维表、直接放在事实表里的维度标识;一致性维度是多个事实表共享的统一维度;一致性事实是跨业务过程口径一致、可复用的事实度量。…
维度表设计的核心是稳定、可复用、可分析:主键优先用代理键并保留自然键,多层级维度优先扁平化支持下钻,NULL 用未知成员或默认值统一处理,维度分层要把基础维度、历史维度和派生宽维度拆清楚。…
HA模式下,Active和Standby NameNode通过QJM(Quorum Journal Manager)同步元数据:Active NN把EditLog写入JournalNode集群(至少3台,写入过半数即成功),Standby …
交易域建模不要把订单、支付、退款硬塞进一张大表,而是按业务过程拆成订单事实、支付事实、退款事实,再通过一致性维度和公共汇总层统一分析。…
事实表粒度不一致,最直接的后果是重复统计、聚合失真、JOIN 膨胀、口径混乱、维护成本上升;正确做法是按业务过程 + 最小粒度 + 消费场景拆成多张事实表,一张表只表达一种粒度的事实。…
DIM 公共维度层的核心是把用户、商品、店铺、渠道、地区、日期这类跨主题复用的分析角度统一建模、统一主键、统一口径、统一历史版本;维度复用落地靠总线矩阵规划、公共维表沉淀、事实表统一关联、指标开发强制引用和数据质量校验。…
业务实体回答“谁、什么、在哪里”,是被管理和描述的对象;业务事件回答“发生了什么、什么时候发生”,是一次可记录的业务动作;业务过程回答“围绕什么目标、经过哪些阶段”,是由多个相关事件组成的完整业务链路。…
不要把多次支付和多次退款硬塞进一行订单表,而是按业务过程拆成订单事实、支付事实和退款事实;订单一对多支付、一对多退款分别存储,统计时先在各自粒度聚合,再按订单或公共维度关联,避免支付金额和退款金额发生乘法膨胀。…
状态表是一行一个业务对象,保存订单当前最新状态,适合高频查询;流水表是一行一次状态变化,保存订单从创建到完成的完整过程,适合追溯、审计和时长分析。实际项目通常两张表都保留:流水表负责记历史,状态表负责给当前答案。…
与原表同实体、同粒度、同生命周期的稳定固有属性放原表;跨来源加工、多个下游高频组合使用的稳定派生字段放公共宽表;稀疏、敏感、变化快、更新频率不同或只服务部分场景的字段拆成扩展表。公共是逻辑属性,是否物理放在一起要看模型边界。…
列数只是告警信号,不是拆表标准;不同粒度必须拆,语义和责任边界优先按主题拆,同一主题内如果更新频率、SLA、生命周期或权限差异明显,再继续拆扩展表。最终用公共主键关联,并为高频消费场景物化 ADS,平衡模型清晰和查询性能。…
迟到维度是指事实数据进入数仓时,与它匹配的维度记录还没有准备好。处理原则是:事实先保留、关联可降级、缺失可追踪、维度到达后可补偿。常见方案包括使用未知成员、预生成占位维度、短时间等待重试和事后回补;具体选择取决于实时性要求、维度迟到时长、事…
退化维度是没有独立维度表、直接保存在事实表中的业务标识,例如订单号、交易流水号和发票号;字段冗余是把原本属于维度表或其他模型的属性复制到事实表,例如商品名称、类目名称和用户等级。事实表应优先保存业务主键或退化维度、维度外键、原子度量、业务时…
维度表在实际 Join 条件下不唯一,会让一条事实匹配多条维度记录,导致事实行数放大、金额和次数重复累计、维度属性归属冲突。 治理时要先定义维度粒度和逻辑主键,再区分普通快照维度与 SCD2 历史维度,通过源头归并、确定性去重、有效期关联、…
原子指标是基于一个业务过程的基础度量口径,回答“算什么”;派生指标是在原子指标上加统计周期、业务限定和统计粒度,回答“在什么范围内怎么算”;复合指标是多个原子或派生指标按公式组合出来,回答“指标之间是什么关系”。…
实时指标和离线指标对数的核心是建立自动化的对账机制:每天定时用离线结果作为基准,和实时结果做差值对比,差异率超过阈值自动告警。对不上的五大根因是:时间边界不一致、计算口径不一致、迟到数据处理不同、去重逻辑不同、数据源不同。排查顺序是先查口径…
指标口径治理的核心是把“每个人 SQL 里各算各的指标”收敛成统一指标定义、统一公共模型、统一指标字典、统一变更流程。…
流量指标统计一段时间内发生的变化,例如订单数、支付金额、新增用户数;存量指标统计某个时间点的状态,例如库存、账户余额、当前用户数。流量通常可以沿时间累加,存量通常取期末、平均或其他代表性时点,不能跨时间直接求和。…
0表示记录存在且结果确定为零,NULL表示记录存在但值未知、缺失或不适用,没有记录表示这条数据行根本不存在;指标补零前要先补齐业务统计范围,再判断“没有发生”是否等于 0,不能只靠 COALESCE 一把梭。…
同比比较相同自然周期,环比比较相邻业务周期,累计指标从指定周期起点累加到当前时间点;计算前必须统一统计粒度、时间范围、数据状态和分母口径,增长率遇到分母为 0 不能无脑返回 0。…
先统一 OneID、数据粒度和字段口径,再建设“公共核心宽表 + 主题扩展宽表 + 部门 ADS”的分层模型,并用元数据目录、模型评审、字段 owner 和下线机制约束新增需求;避免重复建设靠公共复用,避免口径分裂靠统一契约,而不是靠一张无…
汇总表可以继续汇总,但前提是目标粒度比当前粒度更粗、维度口径与过滤范围兼容,并且每个指标都存在正确的合并方式。 金额、次数等可加指标可以继续 SUM;最大值和最小值可以分别继续 MAX、MIN;平均值和比率要通过基础分子、分母重算;去重人数…
事实表中的度量按可加性分为三类:可加度量可以沿所有分析维度直接求和;半可加度量只能沿部分维度求和;不可加度量不能直接求和,通常要保存基础分子、分母或原子值,在查询时重新计算。 判断时不能只看字段名称,而要明确事实表粒度、聚合维度和指标的业务…
数仓数据质量保障不是一个脚本,而是一套从源头接入、分层对账、规则校验、异常告警、影响评估、修复回补组成的闭环。…
数据倾斜的排查和解决核心是八个字:先定位根因,再对症下药。…
数仓调度设计的核心是按数据分层和业务链路组织 DAG,并通过分区覆盖写、状态水位、依赖检查、重跑隔离、质量校验保证失败重跑幂等。…
数据血缘就是记录数据从源头到消费端的来源、加工、流转和影响关系,核心价值是帮助我们快速回答“这个数据从哪来、被谁用、出错会影响谁”。…
晚到数据和补数重跑的核心是先判断影响范围,再按分区幂等、血缘下游、质量校验、业务通知四步处理,不能只重跑一个任务就完事。…
增量同步要根据源表特性选择方案:简单表可用更新时间戳 + 水位线,核心交易表更推荐 binlog/CDC,最终目标是保证数据不漏、不重、可回放、可校验。…
数仓成本治理不是简单砍资源,而是先把成本拆成存储、计算、调度三笔账,再按“先归因、再分层、最后优化”的顺序处理:存储靠分层和生命周期,计算靠增量和少 Shuffle,调度靠合并任务和减少无效触发。…
分区字段没有“业务时间永远正确”或“同步时间永远正确”的统一答案:ODS 通常按同步批次或到达日期分区,DWD 事件事实表通常按对应业务事件日期分区,快照表按快照日期分区,DWS/ADS 按指标统计日期分区;dt 只是一个字段名,必须明确它…
数仓表没有统一的保留年限。保留周期应该取业务分析周期、数据重算窗口、审计合规周期和下游依赖周期中的较长者,同时结合源数据能否重新获取、访问频率和存储成本,分别设计在线保留、低成本归档和最终删除策略。…