离线数仓14 个章节
电商离线数仓项目
245 次阅读更新于 2026/9/13
这套资料围绕一个可以独立运行的电商数仓项目展开。学习者会从业务问题出发，完成源数据理解、维度建模、五层数仓构建、指标加工、质量对账和应用交付。
课程主视觉和技术细节图的使用说明见 图资产说明。
学习结果
完成全部内容后，学习者应该能够：
- 从经营问题识别订单、支付、退款、流量等业务过程。
- 为事实表和维度表定义稳定粒度。
- 解释 ODS、DIM、DWD、DWS、ADS 的职责边界。
- 使用 SQL 和 DuckDB 构建一套完整电商数仓。
- 使用唯一性、完整性、业务规则和跨层对账证明数据可信。
- 将 ADS 结果交付给 BI、经营报表或 Data Agent 等下游应用。
内容状态
| 章节 | 状态 | 核心产出 |
|---|---|---|
| 第 1 章：业务场景、分析需求与项目边界 | 已完成 | 问题清单、业务过程和项目边界 |
| 第 2 章：源系统与样例数据 | 已完成 | 九表契约、确定性数据生成器和 76 项源画像 |
| 第 3 章：维度建模与总线矩阵 | 已完成 | 五个一致性维度、四类事实粒度和模型契约 |
| 第 4 章：ODS 原始数据层 | 已完成 | 原始字段保留、四类审计字段和批次元数据 |
| 第 5 章：公共维度层 | 已完成 | 五张公共维度、代理键、未知成员和 SCD2 扩展设计 |
| 第 6 章：DWD 明细事实层 | 已完成 | 四张原子事实、支付解析、退款预聚合和 59 项验收 |
| 第 7 章：DWS 主题汇总层 | 已完成 | 三张主题表、完整网格、可加性边界和 74 项验收 |
| 第 8 章：ADS 应用数据层 | 已完成 | 五张应用表、排名窗口、退款告警、cohort 成熟度和 113 项验收 |
| 第 9 章：数据质量与跨层对账 | 已完成 | 584 项上游证据、53 项门禁、故障演练和发布阻断 |
| 第 10 章：增量、调度与商业交付 | 已完成 | 增量契约、十二阶段 DAG、版本化 ZIP 和独立验收 |
从这里开始
- 第一次学习先读
BEGINNER_START_HERE.md，完成环境检查。 - 阅读 课程地图，理解完整学习路径。
- 完成 第 1 章，先把业务问题和数据边界写清楚。
- 继续完成 第 2 章，理解九张源表并执行入仓前画像。
- 继续完成 第 3 章，声明事实粒度并验证业务过程总线矩阵。
- 继续完成 第 4 章，构建带批次审计和元数据对账的 ODS。
- 继续完成 第 5 章，验证代理键、未知成员和角色日期。
- 继续完成 第 6 章，复现多事实关联的金额放大并完成事实对账。
- 继续完成 第 7 章，理解完整网格、指标可加性和订单粒度复购。
- 继续完成 第 8 章，完成全站去重、排名窗口、退款告警和成熟 cohort 实操。
- 继续完成 第 9 章，执行统一发布门禁和隔离故障演练。
- 最后完成 第 10 章，理解增量边界并构建独立发布包。
- 逐章阅读 SQL，并完成
labs/README.md和solutions/README.md。 - 完成 结课项目，再在项目根目录执行
make setup和make release。 - 遇到问题时查 术语表 和 排错手册。
独立交付说明
本项目和 Data Agent Studio 使用相近的电商业务模型，但不存在运行依赖。本目录内已经包含学习、实操和验收所需的全部代码；下游 Data Agent 只是 ADS 和可信数仓的一种应用方向。