Spark 的 Shuffle 过程

Shuffle 到底慢在哪?

章节

  • 0:00 开场
  • 0:26 一句话回答
  • 0:42 什么时候触发 Shuffle
  • 1:07 Map 端 · Shuffle Write
  • 1:58 Reduce 端 · Shuffle Read
  • 2:23 性能瓶颈 · 三重开销
  • 3:10 两种实现 · Hash vs Sort
  • 3:58 优化 · 5 个实战手段
  • 5:09 Shuffle 与 Stage
  • 5:47 优化决策树
  • 6:12 高频追问
  • 7:16 面试回答模板

文稿

开场

面试官问你:Spark 为什么比 MapReduce 快?你答:因为它只在 Shuffle 时才落盘。面试官马上追问:那 Shuffle 具体是怎么做的?大部分人只会说「数据重分布」,可 Map 端怎么写、Reduce 端怎么拉、中间经过哪几步,说不清楚。这是 Spark 面试追问最深的知识点之一。今天用动画,把 Shuffle 的全过程讲透。

一句话回答

先给一句话答案:Shuffle 的本质,是把数据按 Key 重新分配到不同的节点上。它慢,是因为有三重开销:磁盘 IO、网络传输、排序。它是 Spark 任务里最昂贵的操作。

什么时候触发 Shuffle

什么时候会触发 Shuffle?只有按 Key 重新分区的操作才会。判断标准就一条:数据需不需要跨节点搬运。map、filter、flatMap 是窄依赖,数据不动;groupByKey、reduceByKey、join、distinct 是宽依赖,数据要搬。就像 map 是在自己工位上干活;join 是公司重新分组,所有人搬去新工位,这个搬运过程就是 Shuffle。

Map 端 · Shuffle Write

Shuffle 分两段:Map 端的 Shuffle Write,按 Key 分类写出去;Reduce 端的 Shuffle Read,把自己那份拉过来。先看 Map 端怎么写。分区规则很简单:目标分区,等于 Key 的哈希值对分区数取模。比如分区数是 200,hash 北京对 200 取模等于 37,所有 Key 是北京的数据,都发往 37 号 Reducer。分好类的数据先写进内存缓冲区,满了就溢写到本地磁盘,叫 Spill。溢写前先排序:先按分区 ID,再按 Key。一个 Map Task 可能溢写好几次,最后把溢写文件合并成一个数据文件,加一个索引文件。索引文件记下每个分区的起止位置,Reduce 端就能按需读取。就像快递清单:北京的在第 1 到 100 个。

Reduce 端 · Shuffle Read

再看 Reduce 端怎么拉。Reduce Task 启动后,根据索引文件,去各个 Map 节点拉取属于自己的那份数据。比如 37 号 Reducer,要从 200 个 Map 节点各拉一份分区 37,这就是 200 次网络请求。拉来的数据要先归并排序,再做聚合或 JOIN。就像北京配送站,从 200 个分拣中心拉回包裹,汇总后再配送。

性能瓶颈 · 三重开销

那 Shuffle 为什么是性能瓶颈?三重开销。第一,磁盘 IO。Map 端一定要溢写落盘,Reduce 端内存不够也要溢写。一次 Shuffle 的中间数据,可能有几十 GB 甚至几 TB。第二,网络传输。200 个 Map 乘 200 个 Reducer,就是 4 万次请求;1 TB 数据要在节点间传一遍,节点越多,带宽越抢。第三,排序。Map 端溢写要排序,Reduce 端合并要归并排序,复杂度 n log n,数据越大越慢。关键理解:Shuffle 是 Spark 里唯一必须碰磁盘和网络的环节,其他算子都在内存里流水线执行。所以优化 Spark,核心就是减少 Shuffle 的次数和数据量。

两种实现 · Hash vs Sort

Shuffle 有两种实现。早期的 Hash Shuffle 已废弃,但面试爱问:每个 Map Task 给每个 Reducer 单独写一个文件。200 乘 200,就是 4 万个文件:文件数爆炸、句柄耗尽、磁盘随机 IO 严重,所以 Spark 2.0 之后被废弃了。现在默认 Sort Shuffle:每个 Map Task 只写一个数据文件,加一个索引文件。200 个 Map,只有 400 个文件,少了 100 倍。它还有一条优化路径 BypassMergeSortShuffleWriter:Reducer 少于 200、又不需要排序时,跳过排序,直接写出再合并。对比一下:Hash 不排序但小文件灾难;Sort 文件少但要排序;Bypass 文件少又不排序,可 Reducer 一多就不触发。

优化 · 5 个实战手段

怎么优化 Shuffle?五个实战手段。第一,Map 端预聚合:reduceByKey 会先在 Map 端做局部聚合,也就是 Combiner。100 万条 (a,1),在 Map 端先合成 1 条再 Shuffle;groupByKey 不预聚合,100 万条全部传到 Reducer。第二,Broadcast Join,直接消除 Shuffle:大表 JOIN 小表,把小表广播到每个节点,完全跳过 Shuffle 阶段。第三,调整分区数,默认 200。数据大时分区太少,容易 OOM 或很慢;数据小时又太多,一堆小 Task。TB 级调大到 2000,GB 级调小到 50。经验法则:让每个分区在 128 到 256 MB 之间。第四,开启 AQE。Spark 3.0 以上运行时自动调分区:合并过小的,拆分过大的,不用手动调参。第五,提前过滤:Shuffle 量就是参与 Shuffle 的数据总量。先过滤出当天再 JOIN,能少搬一大截数据。Catalyst 优化器通常会自动做这个谓词下推,但写 SQL 时有这个意识更好。

Shuffle 与 Stage

Shuffle 还是 Stage 的分界线:Spark 从最终的 RDD 往前回溯 DAG,每遇到一次 Shuffle,就切出一个新 Stage。Stage 内部全是窄依赖,流水线执行,不落盘;Stage 之间靠 Shuffle 交换数据,上游全部完成,下游才能开始。看这条链路:textFile、map、filter,到 reduceByKey 切一刀;再 map,到 sortByKey 又切一刀,最后保存结果。面试官追问:有几个 Stage?两次 Shuffle,三个 Stage。记住:Stage 数等于 Shuffle 次数加 1。

优化决策树

把这些手段串成一棵优化决策树:Shuffle 性能差,先看瓶颈在哪。数据量太大:提前过滤、预聚合、Broadcast Join;分区数不合理:数据大就调大,数据小就调小,或开 AQE 自动合并。数据倾斜:过滤 NULL、加盐打散、开 AQE 的 skewJoin;溢写太多:调大 Executor 内存和 Shuffle 缓冲区。

高频追问

再看四个高频追问。一:groupByKey 和 reduceByKey 的区别?核心是有没有 Map 端预聚合,Shuffle 量能减少 99% 以上。生产中几乎不该用 groupByKey。在 Spark SQL 里,GROUP BY 默认就有 Map 端的部分聚合,不需要手动处理。二:Shuffle Write 写内存还是磁盘?先写 32 KB 的内存缓冲区,满了排序溢写到本地磁盘,最终一定落盘。但它写的是本地磁盘,一份、无副本,不像 HDFS 要写三份还走网络,所以还是比 MapReduce 快。三:Shuffle Read 是推还是拉?是拉。Reduce 端主动拉,能按需拉取、控制并发,不会被撑爆,单次上限默认 48 MB。四:分区数设多少?用总数据量除以目标分区大小,100 GB 除以 200 MB,就是 500。设太少,单个 Task 太大会 OOM;设太多,调度开销大。Spark 3.0 以上,直接开 AQE。

面试回答模板

最后,面试回答模板来了。Shuffle 分 Map 端和 Reduce 端两个阶段。Map 端按哈希取模分区,先写内存缓冲区,满了排序溢写,最后合并成一个数据文件加一个索引文件。Reduce 端根据索引文件,从各个 Map 节点拉取自己分区的数据,归并排序后再聚合或 JOIN。它慢在磁盘 IO、网络、排序三重开销;优化靠预聚合、提前过滤减少数据量,靠 Broadcast Join 减少次数。当前默认 Sort Shuffle,每个 Map Task 只产生 2 个文件,比早期 Hash Shuffle 的 M 乘 R 个好得多。记住一句话:Map 端分区写盘,Reduce 端拉取归并。

看完去做题