Big Data Learning Guide

大数据开发学习，不是把组件名称背一遍

先建立数据从采集、存储、计算到服务业务的完整链路，再逐步补齐离线数仓、实时计算、工程治理和面试表达。每个阶段都要有能验证的学习结果。

查看学习路线用面试题检查理解
Capability Track

五个阶段，逐步形成可交付能力

顺序不是绝对的，但不要跳过基础直接堆框架，也不要只学原理却从未写过 SQL、跑过任务或复盘过项目。

  1. 01

    FOUNDATION

    编程、Linux 与 SQL

    能在 Linux 环境完成开发，理解网络与进程基础，并熟练使用 SQL 处理分组、关联、窗口和日期问题。

    Java 或 PythonLinux 与 ShellSQL 查询与调优
    进入专项 →
  2. 02

    STORAGE

    分布式存储与离线数仓

    理解 HDFS、MapReduce 和 Hive 的职责，能够说明数据如何采集、分层、建模并服务指标分析。

    HDFS 与 MapReduceHive 与数仓分层维度建模
    进入专项 →
  3. 03

    COMPUTE

    批处理与性能优化

    掌握 Spark 的执行模型、Shuffle、内存管理与数据倾斜处理，能从执行计划定位任务瓶颈。

    Spark Core 与 SQLShuffle 与 Join任务排查
    进入专项 →
  4. 04

    STREAMING

    消息与实时计算

    把 Kafka 与 Flink 放进完整实时链路，理解状态、Checkpoint、时间语义、Exactly Once 和反压。

    Kafka 消息链路Flink 状态与容错实时数仓
    进入专项 →
  5. 05

    DELIVERY

    项目、治理与面试表达

    用项目串起采集、存储、计算、调度和治理，并把技术选型、故障排查与业务收益讲清楚。

    项目架构复盘数据质量与治理面试追问表达
    进入专项 →
Learning Check

学会的标准，是能够完成动作

看完课程或记住定义只代表接触过。能画、能写、能查、能讲，才说明知识开始变成工作能力。

能画链路

能从数据源画到指标消费端，并说明每个组件为什么存在。

能写 SQL

不只看答案，能独立处理窗口、留存、连续行为和 TopN。

能查问题

能根据日志、指标、执行计划和数据分布缩小故障范围。

能讲项目

能说明业务背景、技术取舍、难点、结果以及自己的贡献。

从高频大数据面试题开始检查

先不看解析，用三分钟说出结论、原理和使用场景，再进入详情页补齐遗漏。

查看完整题库 →
01窗口函数的执行顺序到底是什么？为什么WHERE里不能直接用ROW_NUMBERSQL/通用优化 · VIP02大表JOIN大表怎么优化SQL/通用优化 · VIP03代理键和自然键有什么区别？维度表为什么常用代理键数据仓库 · VIP04多个RDD Join操作怎么优化性能Spark · VIP05缓慢变化维（SCD）和拉链表是什么？怎么实现数据仓库 · VIP06客户端如何定位文件块的位置？NameNode交互机制详解HDFS · VIP07客户端写文件时如何选择DataNode？副本放置策略和网络拓扑距离详解HDFS · VIP08宽表和窄表怎么选？什么时候该打宽表数据仓库 · VIP09宽表为什么能提升查询性能数据仓库 · VIP10离线数仓和实时数仓有什么区别？实际项目怎么选数据仓库 · VIP11全量表、增量表、快照表有什么区别？实际项目怎么选数据仓库 · VIP12如何避免HDFS脑裂问题HDFS · VIP13如何避免RDD链式转换过长导致的问题Spark · VIP14实时指标和离线指标怎么对数？对不上怎么排查数据仓库 · VIP15数仓中的事实、维度、指标分别是什么含义数据仓库 · VIP
Continue Learning

把学习路线、题库、SQL 和项目连起来

选择当前阶段最需要补齐的一条训练线，学完后立即用题目、代码或项目复盘验证，不让知识停留在收藏夹里。

常见问题

零基础学习大数据开发应该从哪里开始？

先补齐一门编程语言、Linux 和 SQL，再学习 HDFS、Hive 与数据仓库，随后进入 Spark、Kafka、Flink 和项目实战。不要同时铺开所有组件。

大数据开发学习需要掌握哪些技术栈？

常见技术栈包括 Java 或 Python、Linux、SQL、Hadoop、HDFS、Hive、Spark、Kafka、Flink、调度系统、数据仓库建模和数据治理。具体深度应根据目标岗位调整。

学习组件原理和做项目哪个更重要？

两者需要交替进行。原理帮助你解释系统行为，项目帮助你理解组件如何协作。每学完一个模块，都应通过实验、SQL、项目问题和面试题进行验证。

什么时候可以开始刷大数据面试题？

完成一个技术模块后就可以开始刷对应题目。先独立回答，再对照解析补齐原理、边界和场景，比等全部学完后集中背题更有效。