视频讲解/数仓建模

星型模型和雪花模型

被追问:项目用的哪个?

章节

  • 0:00 开场
  • 0:21 一句话回答
  • 0:33 结构 ① · 星型模型
  • 0:54 结构 ② · 雪花模型
  • 1:16 原因 ① · JOIN 次数
  • 1:45 原因 ② · 存储便宜,计算贵
  • 2:18 原因 ③ · 分析师好用
  • 2:46 雪花模型的用武之地
  • 3:21 延伸 · 星座模型
  • 3:42 事实表 vs 维度表
  • 4:22 选型决策树
  • 4:53 面试回答模板
  • 5:22 常见追问

文稿

开场

面试官问:星型模型和雪花模型,有什么区别?你张口就背:星型的维度表不拆分,雪花的维度表规范化拆分。面试官追问:那你们项目用的哪个?为什么这么选?只会背定义,一追问就露馅。今天用动画,把这道数仓建模必考题讲透。

一句话回答

先给一句话答案:大数据数仓,几乎都选星型模型。核心原因就一句:存储便宜,计算贵,用空间换时间。

结构 ① · 星型模型

先看星型模型:一张事实表放中间,周围直接连多张维度表,像星星一样放射展开。关键是维度表是扁平的。用户表里直接存城市和省份,虽然有层级关系,也不拆出来。就像点外卖,商家名、地址、评分都显示在订单页。信息每单都重复存,但一眼就能看全。

结构 ② · 雪花模型

雪花模型是星型的规范化版本:把维度表里有层级关系的字段,拆成独立的子表。商品表拆出品类表和品牌表,地区表拆出省份表,一层层展开,就像雪花。就像去商场找店:订单页只有商家编号,查名字、查地址、查省份,要跳好几次才能拼齐。

原因 ① · JOIN 次数

为什么大数据数仓几乎都选星型?原因一:JOIN 次数决定查询速度。比如查每个省份的 GMV 排名。星型模型,事实表 JOIN 地区表,省份字段就在里面,一次搞定。雪花模型,要先 JOIN 地区表,再 JOIN 省份表,才能拿到省份名称,一共两次。每多一次 JOIN,就多一次 Shuffle,数据要跨节点传输。亿级数据下,多一次 JOIN,可能就多几分钟。

原因 ② · 存储便宜,计算贵

原因二,是选型的经济学:存储便宜,计算贵。星型的代价是冗余:北京这个城市名,可能在1亿条订单里,重复存了1亿次。多存几个 GB 的重复字符串,HDFS 上几乎不花钱;但每次多 JOIN 一张表,多花的 CPU 和内存才是真贵。对比表归纳一下:星型用冗余,换来 JOIN 少、查得快、SQL 简单,适合分析查询。雪花省下了存储,代价是 JOIN 多、查得慢、多表关联容易写错。

原因 ③ · 分析师好用

原因三:分析师用起来简单。数仓的使用者,很多是写 SQL 能力有限的业务分析师。同样按省份算 GMV,星型模型只要 JOIN 一张地区表。雪花模型,还要再多 JOIN 一张省份表。多一个 JOIN,就多一次出错机会:字段名搞混、JOIN 条件写错、漏掉某张表。记住:数仓是给人用的。用的人越方便,数仓的价值就越大。

雪花模型的用武之地

那雪花模型就没用了吗?不是,有三种场景仍然有价值。一是维度属性频繁变化。品牌改名,星型要更新几亿条记录,雪花只改品牌表一行。二是对存储极度敏感。Oracle、SQL Server 的年代存储很贵;到了 HDFS、S3 时代,这个优势就不重要了。三是 ODS、DWD 这些底层,有时会用 ER 建模,类似雪花的思路,保证数据不冗余、不丢失。但到了面向分析的 DWS、ADS 层,几乎都会转成星型模型。

延伸 · 星座模型

面试偶尔还会问星座模型。它其实就是多个事实表,共享同一组维度表。订单、支付、退款三张事实表,都要关联用户、商品、时间维度。把维度表共享出来,就是星座。它不是新模型,是星型在多事实表场景下的自然延伸,面试提一句就够了。

事实表 vs 维度表

面试官还常追问:事实表和维度表,有什么区别?事实表存度量值,回答多少:金额多少、点了几次、停留多久。每一行,是一个不可再分的业务事件。事实表分三种:事务事实表,一个事件一行,比如订单明细;周期快照事实表,比如每日库存快照。还有累积快照事实表,记录完整生命周期,比如下单、发货、签收。维度表存描述信息,回答谁、什么、在哪、什么时候。它通常行少列多,而且变化缓慢,用户名不会天天变,这就引出了缓慢变化维,SCD。

选型决策树

把选型串成一棵决策树。先问:数据在哪一层?ODS 层保持源系统原始结构,不做建模;DWD 层用 ER 建模或维度建模,保证完整不冗余。DWS、ADS 层再问:维度属性是否频繁变化?大多数情况不会,就用星型模型。如果频繁变化,考虑雪花模型,或者星型加 SCD 拉链表。用了星型,再看有没有多个事实表:有,就是星座模型;没有,就是标准星型。

面试回答模板

面试回答,提炼成三步。第一步讲区别:核心在维度表是否继续拆分。第二步讲选型:我们 DWS、ADS 层用星型,理由就是前面三条。第三步讲分层:底层偏 ER 保证完整,上层偏星型保证查询性能。最后补一个判断标准:分析师查数,只要事实表 JOIN 一两张维度表,就能出结果。要是经常 JOIN 四五张表,说明维度退化做得不够。

常见追问

最后看四个常见追问。一:维度退化是什么?就是把高频使用的维度属性提前 JOIN 好,比如用户名、城市名,直接冗余进事实表或宽表。下游不用再 JOIN 用户表,又快又不容易出错。最适合放在 DWD 层做:它是全局复用层,退化一次,所有下游都受益。二:缓慢变化维怎么处理?比如用户从普通升到 VIP,你要知道他下单时是什么等级。Type 1 直接覆盖,丢失历史;Type 2 用拉链表记录起止时间,最常用;Type 3 加一列存旧值。三:Kimball 和 Inmon 的区别?Kimball 自底向上,先能用再完善。先围绕业务过程建星型模型,再逐步整合成企业级数仓。Inmon 自顶向下,先完整再使用:先设计企业级 3NF 模型,再建数据集市。互联网公司大多用 Kimball,因为迭代更快。四:事实表的粒度怎么定?粒度就是每一行代表什么,这是建模的第一步,也是最重要的一步。原则是粒度尽量细:优先选订单明细,而不是一笔订单。细粒度能聚合成粗粒度,反过来拆不回去。先定粒度,再围绕粒度选维度和度量。

看完去做题