100万条 vs 1条?
同样按用户求和:groupByKey 发出 100 万条,reduceByKey 只发 1 条。差距就出在 Shuffle 之前那一步:Map 端预聚合。这是 Spark Shuffle 优化里最经典的面试题,很多人只会说一句:reduceByKey 有预聚合。可面试官一追问:数据量到底怎么变?内存风险在哪?马上就卡住了。真正要讲清四件事:快在哪里,为什么少 Shuffle,什么时候不能用 reduceByKey,groupByKey 是不是完全不能用。
一句话回答:reduceByKey 会在 Map 端先做局部聚合,再把聚合后的结果 Shuffle 到下游,所以网络和内存压力都小。groupByKey 则把同一个 Key 的全部原始 Value 全量 Shuffle 过去,再分组。数据量一大就容易慢,遇到热点 Key 还容易 OOM。
先看 groupByKey,它的语义是:按 Key 把所有 Value 收集成一个 Iterable。比如 u1 有 10、20、30 三条,u2 有 5 和 15 两条。groupByKey 之后,u1 对应 Iterable 10、20、30,u2 对应 Iterable 5、15。如果你后面只是想求和,写成 groupByKey 再 mapValues 求 sum,就很浪费。因为 Spark 必须先把 100 万条明细都搬到下游,拼成一个 Iterable,再一条条加起来。就像把每个用户的所有购物小票,先全部寄到总部,总部再一张张加总。小票一多,快递费和总部的桌面都会爆。
再看 reduceByKey:按 Key 用一个二元函数做聚合,比如加法。同样的数据,用 reduceByKey 传一个加法,得到 u1 是 60,u2 是 20。关键在于,它可以先在每个 Map 端分区里做局部聚合,再 Shuffle。如果一个分区里有 100 万条 (u1, 1),Map 端可以先合成一条 (u1, 1000000)。这个 Key 要 Shuffle 的数据,就从 100 万条变成 1 条。就像每个门店先把当天营业额算好,只把门店汇总数发到总部,总部不用看每一张小票。
原因一,也是最核心的差距:reduceByKey 有 Map 端预聚合,Shuffle 数据量小。假设有 10 亿条订单,要按 user_id 求 GMV。不推荐的写法:groupByKey 再 mapValues 求和,10 亿条明细全部按 user_id Shuffle。推荐的写法:reduceByKey 传加法,先在每个分区里按 user_id 求局部和,再把局部结果 Shuffle。看这四个 Map 分区,每个点是一条订单,颜色代表 user_id。groupByKey:每一条都原样写进 Shuffle 文件,再跨网络拉到下游,48 条一条不少。reduceByKey:先在分区内把同色的点合成一个,每个分区每个 Key 最多剩 1 条,只发 12 条。前面专题讲过,Shuffle 要序列化、写磁盘、跨网络传输,条数一少,这三样成本一起降。网上常说能减少 90% 到 99%,这个比例不能背死。减多少,取决于同一个分区里,同一个 Key 重复了多少次。如果按订单 ID 聚合,几乎每个 Key 只出现一次,预聚合基本省不下什么。面试关键词记住一个:mapSideCombine。reduceByKey 能在 Shuffle 前合并,groupByKey 不能。
这一点在 Spark 3.5 的源码里能直接看到。reduceByKey、aggregateByKey、groupByKey,底层调用的是同一个方法:combineByKeyWithClassTag。它有个参数 mapSideCombine,默认是 true。reduceByKey 没改它,所以 Map 端会先合并。groupByKey 显式传了 false,它的合并器只是一个 CompactBuffer,把 Value 一个个追加进去。源码注释写得很直白:groupByKey 做 Map 端合并,不会减少 Shuffle 数据量,反而要把 Map 端数据全塞进哈希表,老年代对象更多。Reduce 端也不一样:预聚合过的,只合并局部结果;没预聚合的,要从原始 Value 一条条合并。
原因二:groupByKey 更容易让单个 Task 内存爆掉。它的结果是 Key 加一个 Iterable。假如 user_id 等于 0 这个 Key 有 3000 万条记录,这 3000 万个 Value 都要在下游同一个 Task 里组成一个集合,很容易 OOM,或者疯狂 Spill。reduceByKey 不需要保留集合,可以边读边累加,最后只留一个累加值,内存很稳。再补一个源码细节:Reduce 端的聚合表放不下时,可以 Spill 到磁盘,但官方注释写明,groupByKey 必须能把任意一个 Key 的全部 Value 放进内存。所以真正撑爆内存的,往往是热点 Key;总数据量大,更多表现为大量 Spill 和 GC。reduceByKey 也不是零内存:Map 端同样要建哈希表,只是大小跟分区里不同 Key 的个数有关。
原因三:reduceByKey 适合聚合,groupByKey 适合保留明细。不能绝对地说 groupByKey 永远不能用。如果业务真的需要拿到某个 Key 下的全部明细,比如给每个用户最近 10 条行为明细排序,那确实需要分组后的 Iterable。但如果目标是求和、计数、最大值、最小值、均值,就优先用 reduceByKey、aggregateByKey、combineByKey。落到具体场景:按用户求 GMV、按商品求订单数,用 reduceByKey,本地先算。按 Key 求均值,用 aggregateByKey 或 combineByKey,因为要同时维护 sum 和 count。每个用户保留全部行为列表,用 groupByKey,业务需要完整明细。取 TopN 明细,aggregateByKey 更稳,每个分区只留前 N 条,避免完整 Iterable 过大。数据量很小的临时脚本,groupByKey 可以接受,但生产不推荐。判断只问一句:要不要保留全部 Value 明细?不需要,就选 reduceByKey 或 aggregateByKey;需要,才谨慎用 groupByKey,盯住热点 Key 和内存。
补充一:aggregateByKey 和 combineByKey。reduceByKey 要求输入和输出的 Value 类型一致:两个数值进去,还是一个数值出来。求均值就不行了,要同时维护 sum 和 count,类型变了。这时用 aggregateByKey。初始值是 0.0 和 0;第一个函数在分区内,把每笔数值累加进 sum,count 加 1;第二个函数在分区之间,把两份 sum 和 count 分别相加;最后 mapValues,用 sum 除以 count。aggregateByKey 在源码里同样走 combineByKeyWithClassTag,所以也有 Map 端预聚合。combineByKey 更底层,三个函数自己写:创建初始值、分区内合并、分区间合并。
补充二:别误以为 reduceByKey 没有 Shuffle。它是宽依赖,同样要按 Key 重分区,只是在 Shuffle 前先做局部聚合,减少传输量。准确说法是:reduceByKey 减少 Shuffle 数据量,不是消除 Shuffle。再补一个边界:如果上游 RDD 已经用同一个分区器分好了区,比如前面刚做过 partitionBy,源码会直接在每个分区里合并,这一步就不再 Shuffle。
把这些串成一棵决策树:先问,你的目标是什么?求 sum、count、max、min,首选 reduceByKey,Map 端预聚合,减少网络 IO。求均值或复杂状态,用 aggregateByKey 或 combineByKey,自定义初始值和合并逻辑,适合类型变化。确实需要全部 Value 明细,才用 groupByKey:全量 Value 进 Iterable,注意 OOM 和倾斜。前两条路改完,去 Spark UI 看 Shuffle Read 和 Shuffle Write,应该明显下降。第三条路如果 Key 过大,考虑 TopN 局部聚合,或者加盐拆分。
面试可以这样答。核心区别是:reduceByKey 有 Map 端预聚合,groupByKey 没有。groupByKey 会把同一个 Key 的所有原始 Value 全量 Shuffle 到下游,再形成 Iterable;如果一个用户有 100 万条订单,这 100 万条都要跨网络传输,并在下游 Task 里保存。reduceByKey 先在每个分区内局部聚合,把 100 万条合成一个局部和,再 Shuffle 局部结果,网络和内存压力都小很多。所以生产里求和、计数、最大最小值,优先用 reduceByKey;算均值或复杂状态,用 aggregateByKey 或 combineByKey;只有确实需要保留 Key 下全部明细时,才谨慎使用 groupByKey。
追问一:groupByKey 是不是一定不能用?不是。它的问题不是语义错,而是代价高。如果业务真需要某个 Key 下的完整明细,比如每个用户的全部浏览路径,它就有使用场景。但如果只是为了后面求 sum、count、max,就不该先 groupByKey,那会把大量原始明细全量 Shuffle。判断标准很简单:最终不需要完整 Iterable,就别用 groupByKey。追问二:reduceByKey 为什么能预聚合?因为它的函数可以先局部合并、再全局合并。比如加法,先在每个分区内把同一个 Key 的数值加起来,再把各分区的局部和发到下游继续加,最终结果不变。源码对这个函数的要求是:满足结合律和交换律。加法、取最大值可以,减法不行。groupByKey 的语义是收集全部 Value,不能提前丢掉明细,所以做不了同样的预聚合。追问三:reduceByKey 遇到数据倾斜怎么办?它能减少 Shuffle 数据量,但不改变分区规则:同一个 Key 仍然全部发往同一个下游分区。像求和这种,预聚合后热点 Key 到下游,每个 Map 分区最多一条,压力已经小很多;但如果合并出来的值本身很大,比如把明细拼成列表,或者分区内重复度很低,热点 Key 仍会拖慢一个 Task。常见处理是加盐做两阶段聚合,前面专题讲过:先给热点 Key 加随机前缀,打散到多个分区做局部聚合,再去掉前缀,做第二次聚合。也可以先过滤无意义的 Key,比如空值、默认值、测试账号。追问四:Spark SQL 里的 GROUP BY 是不是 groupByKey?不能简单画等号。Spark SQL 的 GROUP BY 通常会生成两阶段聚合计划:先 Partial 局部聚合,经过 Exchange,也就是 Shuffle,再 Final 全局聚合。本质上就是 Map 端预聚合加全局聚合,不会像 RDD 的 groupByKey 再 mapValues 求和那样,全量传输明细。面试时要分清 RDD API 和 Spark SQL 执行计划。
回到开头:同样是求和,groupByKey 发出 100 万条,reduceByKey 只发 1 条。能先合并就先合并,必须看明细,才用 groupByKey。