视频讲解/数仓建模

原子派生复合指标

同一个GMV,为何算出四个数?

章节

  • 0:00 开场
  • 0:28 一句话回答
  • 0:47 原子指标 · 算什么
  • 1:24 派生指标 · 在什么范围算
  • 1:59 复合指标 · 指标间关系
  • 2:33 三者对比
  • 3:07 先拆原子 · 统一地基
  • 4:05 派生 · 翻译业务问题
  • 5:13 复合 · 分子分母对齐
  • 5:52 比率不能直接平均
  • 6:13 指标分层的价值
  • 6:54 补充一 · 修饰词
  • 7:35 补充二 · 统计粒度
  • 8:07 补充三 · 指标命名
  • 8:35 一棵决策树
  • 9:21 高频追问
  • 10:48 面试回答模板

文稿

开场

同一个 GMV,四张报表算出四个数,周会上没人说得清哪个是对的。SQL 全都跑通了,错的不是代码,是指标没拆清楚。面试官问:原子指标、派生指标、复合指标,有什么区别?背定义不够。他想听:指标怎么从事实表拆出来,口径怎么统一,落到哪一层,以及 GMV、转化率、客单价,为什么很多公司越算越乱。

一句话回答

一句话回答。原子指标,是一个业务过程上的基础度量口径,回答算什么。派生指标,在原子指标上加统计周期、业务限定和统计粒度,回答在什么范围内怎么算。复合指标,由多个指标按公式组合出来,回答指标之间是什么关系。

原子指标 · 算什么

先看原子指标,它是最底层的指标积木。原子指标不等于表里的一个字段,而是一个稳定、可复用的基础统计口径。比如支付事实表,一行一笔支付。对 pay_amount 求和,是支付额。对 order_id 去重计数,是支付订单数;对 user_id 去重计数,是支付用户数。退款事实表里,对 refund_amount 求和,是退款额。它们通常不带最近7天、北京、App 渠道这类范围,只表达最基础的业务度量。就像厨房里的米、面、鸡蛋,本身还不是菜,但后面每道菜都离不开它们。

派生指标 · 在什么范围算

派生指标,是给原子指标加上统计场景。支付额加上按日统计,就是日 GMV;再按城市分组,就是城市日 GMV。支付用户数,加上 App 渠道和最近7天,就是 App 渠道近7天支付用户数。支付订单数,加上新用户和首日,就是新用户首日支付订单数。可以记成:原子指标,加统计周期,加统计粒度,加业务限定。鸡蛋是原子;番茄炒蛋、鸡蛋炒饭、韭菜炒蛋,就是派生出来的菜。

复合指标 · 指标间关系

复合指标,不直接从事实表字段聚合,而是由已有指标计算出来。客单价,等于 GMV 除以支付订单数;人均支付额,等于 GMV 除以支付用户数。支付转化率,等于支付用户数除以访问用户数;退款率,等于退款额除以支付额。比如城市日 GMV 和城市日支付订单数,组合成城市日客单价。复合指标最怕分子分母口径不一致。分子是 App 渠道 GMV,分母却是全渠道订单数,算出来的客单价就会很奇怪。

三者对比

把三者放进一张表。原子回答算什么,直接来自事实度量,通常不带周期和粒度,最稳定。派生回答在什么范围内怎么算,在原子上过滤聚合,通常带周期和粒度,场景最多。复合回答指标之间的关系,继承分子分母的周期,粒度必须和参与指标一致,最容易出错。落地上,原子指标定义在指标字典里,对应 DWD、DWS 的口径规则;派生指标在 DWS 汇总表和指标平台;复合指标在 ADS 报表和指标服务。

先拆原子 · 统一地基

为什么要先拆原子指标?因为指标混乱,往往是直接从报表需求开始写 SQL。业务说:我要看北京 App 渠道近7天 GMV。一个同学写 SUM order_amount,另一个写 SUM pay_amount;第三个扣了退款,第四个没扣。结果四张报表,四个 GMV。正确做法,先定义原子指标支付额:来源支付明细表,度量 pay_amount,过滤支付成功,聚合方式 SUM,扣不扣退款,明确写进定义。然后再派生出北京 App 近7天 GMV、上海小程序日 GMV、类目月 GMV。落到 SQL:错误写法从下单明细对 order_amount 求和,口径各写各的。正确写法从支付明细对 pay_amount 求和,统一加上支付成功、排除测试订单。原子指标不是为了多造概念,而是让所有派生指标,从同一个地基往上长。

派生 · 翻译业务问题

第二,派生指标负责把业务问题,翻译成可落表的统计口径。业务不会说:请帮我做支付额原子指标。他会说:看各城市昨天的 GMV,看近7天新用户支付人数,看活动期间 App 渠道各类目的支付额。这些都是派生指标。拿近7天新用户 App 渠道支付人数来拆:原子是支付用户数,周期是近7天,限定是新用户加 App 渠道,粒度按天或按城市。落到 DWS,派生指标通常变成一张固定粒度的汇总表,比如城市渠道日交易汇总表。一行是某天、某城市、某渠道;三列是日支付额、日支付订单数、日支付用户数。注意平台叫法不完全一样:DataWorks 定义派生指标是原子加时间周期加修饰词,粒度放在汇总表上;Dataphin 沿用 OneData,把统计粒度也算进派生指标。拆法一致,名词以团队规范为准。就像菜单:鸡蛋是原子,北京店今天卖出的番茄炒蛋份数,才是业务要看的派生指标。

复合 · 分子分母对齐

第三,复合指标最重要的,是分子分母口径对齐。它看起来只是一个除法,却是最容易出事故的一类指标。支付转化率,分子只算 App 渠道支付用户,分母却是全渠道访问用户,转化率一定偏低。分子按自然日,分母按活动周期,结果也会乱。所以要三项对齐:统计周期一致,统计粒度一致,业务限定一致。像退款率,还要约定退款按退款日期统计,还是归回原支付日期,分子分母才对得上。公式写对还不够,周期、过滤条件、维度粒度都对齐,复合指标才可信。

比率不能直接平均

还有一个很常见的坑:不能直接对比率再求平均。错误写法:先算好每个城市的客单价,再对客单价求 AVG。正确写法:先 SUM 分子 GMV,再 SUM 分母订单数,最后相除。分母用 NULLIF 包一层,订单数为零时返回空值,避免除零。

指标分层的价值

第四,指标分层能降低开发成本,也能降低解释成本。不拆的话,字段越长越多:gmv、app_gmv、new_user_app_gmv,一路长到 city_new_user_app_7d_gmv。没人知道哪些能复用,哪些早已废弃。拆分之后就像搭积木:原子层往上是派生层,再往上是复合层,最后供给 ADS 报表、BI 看板和指标服务。好处有四个。新需求来了,优先复用已有的原子指标。口径改了,能顺着依赖,知道影响哪些派生和复合指标。报表对不上时,可以一路拆回原子层,逐层排查。指标平台还能把定义和生产分开管理。

补充一 · 修饰词

再补充三个概念。第一,修饰词,就是业务限定条件。可以理解成派生指标里的过滤条件标签:新用户、老用户、App 渠道、首购用户。同一个原子指标,加上不同修饰词,就变成不同的派生指标。修饰词要统一管理。新用户,A 报表指注册当天,B 报表指注册7天内,指标一定对不上。还要分清两类过滤。支付成功、排除测试订单这种口径型过滤,最好固化在原子指标里,所有派生共用;新用户、App 渠道这种范围型限定,才做成修饰词。团队规范可以不同,但同一条规则只定义一次。

补充二 · 统计粒度

第二,统计粒度,决定指标能不能继续汇总。粒度就是结果表每一行代表什么。城市渠道日汇总表,一行是某天、某城市、某渠道。GMV、订单数是可加的,能继续往上汇总。UV、转化率、客单价,不能直接相加。同一个用户可能跨城市、跨渠道出现,城市 UV 直接相加,全国 UV 就会重复计算。跨天也一样,七个日 UV 相加,不等于近7天 UV。要回到明细,重新去重。

补充三 · 指标命名

第三,指标命名,要让人一眼看懂口径。字段名最好体现对象、含义和周期。pay_amt_1d,最近1天支付额。pay_user_cnt_7d,最近7天支付用户数;refund_rate_1d,最近1天退款率。反过来,一个字段叫 amount,下游不知道它是下单额、支付额,还是退款额。一个字段叫 gmv,下游不知道扣没扣退款,排没排除测试订单。

一棵决策树

把前面串成一棵决策树。拿到指标需求,先问:能找到对应的业务过程吗?找不到,先和业务确认要描述什么行为;找得到,再定位事实表:支付、退款、访问还是点击。再问:它是基础度量,还是公式结果?公式结果,就拆成分子分母,按复合指标处理。基础度量就定义原子指标:字段、过滤、聚合方式。不需要周期和维度的,进入指标字典。需要周期、粒度、修饰词,就生成派生指标;不再由多个指标计算的,落到 DWS 汇总表统一复用。由多个指标计算的,按复合指标检查分子分母的周期、粒度和限定,最后落到 ADS 报表或指标服务。

高频追问

最后是四个高频追问。第一,原子指标是不是不能再拆?不能再拆,说的是业务口径上不该再拆成别的指标,不是说它只对应一个物理字段。支付额已经包含了支付成功、排除测试订单、对 pay_amount 求和。重点是稳定、复用、含义清楚。第二,GMV 到底是原子还是派生?要看公司怎么定义。GMV 本身就分下单口径和支付口径。按支付口径,支付额更像原子;日 GMV、城市日 GMV、App 渠道 GMV,更像派生。面试这样答更稳,因为体现了口径拆解能力。第三,复合指标为什么不能直接平均?看两个城市:A 城 GMV 9000、100单;B 城 GMV 300、2单。A 城客单价90,B 城150。直接平均,得到120,等于让两个城市权重一样。先汇总再相除,9300除以102,约等于91。整体客单价,是总 GMV 除以总订单数。第四,这些指标落在哪一层?原子指标是口径定义,放在指标字典或指标平台,对应 DWD 的字段和过滤规则。派生指标高频复用,就沉淀到 DWS;复合指标在 ADS 或指标服务层计算,分子分母最好来自统一的 DWS 表。判断标准:复用越高、口径越核心,越应该往公共层沉淀。

面试回答模板

面试回答模板:原子指标是基础口径,讲清来源事实表、度量字段、过滤条件和聚合方式。派生指标加周期、粒度和限定,多沉淀在 DWS;复合指标按公式计算,分子分母的周期、粒度、过滤必须一致。先把积木拆清楚,同一个 GMV,才只会有一个答案。

看完去做题