两张报表 GMV 对不上?
凌晨两点,老板在群里发来一句话:今天的GMV,为什么两张报表对不上?如果你是数据开发,这大概是最怕听到的一句话。而问题的根源,往往只有一个:数仓没有分层。
先想象一个不分层的数仓。业务库、日志、第三方接口的数据一进来,每张报表都直接从原始数据出发,自己清洗、自己关联、自己聚合。报表少的时候还好,报表一多,这里就成了一团乱麻。它会带来三个致命问题。
第一,同样的活,干了十遍。十张报表都要用清洗后的订单数据,于是十个人写了十份清洗逻辑。口径稍有差别,同一个GMV,A报表是一千万,B报表是九百八十万。哪个才是对的?谁也说不清。分层之后,DWD层只清洗一次,十张报表共享同一份干净数据,口径天然一致。这就是分层的第一个价值:复用。
第二,改一个字段,全线崩溃。某天,业务开发把订单表的 order amount 字段,改名成了 pay amount。五十张直接读源表的报表同时报错,改漏一个,就是一次线上事故。分层之后,只需要在入口处改一处映射,把新字段映射回原来的名字。下游五十张报表,一行代码都不用动。这就是第二个价值:隔离。
第三,数据错了,却找不到原因。老板说,今天的GMV少了三百万。不分层,从源头到报表就是一条黑盒管道,只能从头到尾重跑一遍。分层之后,可以逐层对账。ODS一千万条订单,DWD也是一千万条,没问题。DWD总金额五千万,DWS也是五千万,没问题。到了ADS,却只剩四千七百万。问题,就出在ADS层的SQL。五分钟定位,而不是五小时。这就是第三个价值:可控。
那么,每一层到底做什么?我们顺着数据流动的方向走一遍。第一层,ODS,原始数据层。它把业务库、日志、第三方接口的数据原封不动地搬进来,不做任何加工。它是整个数仓的后悔药:下游逻辑写错了,随时可以从这里重跑。第二层,DWD,明细数据层,也是数仓的心脏。它负责去重、过滤脏数据、统一日期和编码格式。还会做维度退化:把用户名、城市、商品名提前关联进订单明细,下游拿来就用。第三层,DWS,汇总数据层。它按交易、用户、流量、广告这些主题域,把常用指标提前算好。就像食堂提前把菜做好,十个人要同一道菜,只需要做一次。第四层,ADS,应用数据层,直接对接BI看板、报表和业务系统。好的ADS有个简单标准:单表查询就能出数。如果还要关联三四张表,说明下面的层建得还不够。另外,DIM维度层统一管理用户、商品、地区等维度表,供各层关联使用。
数据一层层往上流,体量也一层层收窄。ODS每天可能上百亿条,DWD清洗去重后少掉三到五成。DWS聚合后只剩百分之一到五,到了ADS,只剩十万到百万条可以直接看的精华。
所以,数仓为什么要分层?记住三个词。复用,让同样的逻辑只写一次。隔离,让上游的变化不再冲击下游。可控,让每一层都能对账、能定位。分层不是教条,而是让数据值得被信任的工程方法。