Task 卡在 99%?
面试官问你:Spark 数据倾斜怎么解决?你张口就来:给热点 Key 加个随机前缀,打散它。面试官追问:为什么加盐,就能把一个热点 Task 拆成多个?双重聚合,为什么要聚两次?Join 的时候,小表为什么要扩容?加盐,会不会改变结果?加盐是最容易被说烂、也最容易被追问穿的点。今天用动画,一次讲透。
先给一句话答案。随机 Key 双重聚合:给热点 Key 加随机盐,先打散做局部聚合,再去盐做全局聚合。大表加盐扩容:大表热点 Key 加随机盐,小表对应 Key 复制多份补齐盐值,把一个分区的数据拆到多个分区 Join。
先看痛点:为什么光调并行度,拆不开热点 Key?Shuffle 通常按 Key 做 Hash 分区。10 亿行订单里,user_id = 0 有 3 亿行,Key 不变,就全落进同一个分区。这个 Task 就会超慢,疯狂 Spill,甚至 OOM。把 spark.sql.shuffle.partitions 从 200 调到 2000?只能把不同 Key 分得更细,拆不开同一个热点 Key。所以,必须人为把一个热点 Key,改造成多个 Key,这就是加盐。把 0 拆成 0_0、0_1,一直到 0_99,Hash 之后,它们就会落到不同的分区。好比一个窗口排了 3 亿人,多开窗口没用,大家都认准原窗口;加盐就是发 100 种临时号,分散去 100 个窗口。
核心论证第一条:Group By 倾斜,用随机 Key 双重聚合。比如按 shop_id 统计 GMV,unknown 占了 60%。普通 GROUP BY,会把六亿行 unknown 全塞给一个 Reducer。第一阶段:给 shop_id 拼上 0 到 99 的随机盐,按加盐后的 Key 做局部聚合,一个大分区拆成 100 个小分区。第二阶段:把盐去掉,再按原始 shop_id 做一次全局聚合,把 100 份部分结果加起来。记住:第一聚是为了分散压力,第二聚是为了恢复正确结果,最终 GMV 不变。
第二条:双重聚合不能改变聚合语义。SUM、COUNT、MIN、MAX 这种可拆分聚合,先算部分再合并,结果不变。但精确 COUNT DISTINCT、中位数、复杂 UDAF 要谨慎:先确认它满足可结合、可交换,否则需要特殊改写。就像 100 箱苹果,可以每箱先数个数再相加;但要找中位重量,不能拿每箱的中位数再求一次中位数。
第三条:Join 倾斜,要大表加盐、小表扩容。Group By 只动一张表,Join 还要两边 Key 对得上。只给大表加盐,小表还是原始 Key,A_7 永远找不到 A。所以大表这边:shop_id = A 的 5 亿行,每行随机拼一个盐,变成 A_0 到 A_99 里的某一个。小表这边:A 只有 1 行,就复制 100 份,每份补一个盐值,A_0 到 A_99 一个不落。SQL 里用 posexplode 生成 0 到 99 共 100 个盐值,再按加盐后的 Key Join。大表随机分散,小表复制兜住所有盐值。结果仍对应 A,压力却被 100 个 Task 分掉了。
第四条:只对热点 Key 加盐。如果所有 Key 都加 100 倍盐,小表整张膨胀 100 倍,数据量会炸。更好的做法:先识别 TopN 热点 Key,比如一天订单超过一千万行的 shop_id。热点数据单独走加盐扩容 Join;非热点用 LEFT ANTI JOIN 筛出来,走普通 Join;最后 UNION ALL 合并。就像只有几个窗口爆满,就只给这几个窗口分流,别把全场窗口都复制 100 遍。
放在一起对比:双重聚合解决 Group By 倾斜,通常一张表,加盐局部聚合,再去盐全局聚合。适合 SUM、COUNT 这类可拆分指标,风险是不可拆的聚合。加盐扩容解决 Join 倾斜,动两张表:大表随机加盐,小表复制扩容。风险是小表扩容过大、结果重复。两者都不改变最终 Key。双重聚合调盐值数量和两阶段比例,用聚合总量校验;加盐扩容只处理热点、控制扩容倍数,用 Join 后的行数和金额校验。
面试官还可能延伸三个问题。一:盐值数量怎么定?太少打不散,太多会放大小表扩容和调度开销。按热点数据量、目标单个 Task 的大小来估:热点 100GB、每份 1GB 左右,就设 100 份,再看 Spark UI 的 Task 分布调整。二:会不会结果重复?正确做法是大表每行只随机命中一个盐,小表复制出所有盐,每条大表记录只匹配一份。如果两边都随机加盐,会匹配不上;如果小表扩容后,Join 条件没带盐,就会重复。三:有了 AQE 还要手动加盐吗?AQE 能自动拆分部分倾斜的 Shuffle 分区,对很多 SQL 有帮助。但极端热点、复杂聚合、窗口函数倾斜、业务脏 Key,仍可能要手动加盐。AQE 是运行时补救,手动加盐是从数据分布上主动拆热点。
整条思路串成一棵决策树:发现倾斜,先看发生在哪类算子。Group By 走双重聚合:可拆分,就加盐局部、去盐全局;不可拆,就谨慎改写,考虑近似或业务拆分。Join 走加盐扩容:少量热点,就热点单独加盐、非热点普通 Join;热点很多,考虑广播 Join、AQE 或改模型。Window 和 Sort 倾斜,先看 PARTITION BY 里的热点,必要时拆热点逻辑。不管走哪条,最后都要校验结果一致性。
四个高频追问。一:为什么聚两次?只做第一次,结果是 unknown_1 这种临时 Key,不合口径;不做第一次,热点拆不开。二:小表为什么扩容?大表的 A 变成了 A_0 到 A_99 之一,小表复制 100 份才对得上。注意,大表每行只随机一个盐。三:只处理哪些热点?先 GROUP BY key,按 count 倒序取前 100,看 Top Key 和中位数的差距。差几十上百倍,就列为热点;阈值按行数、数据量或 Task 目标大小定,生产里只处理少量热点。四:有什么副作用?一是代码更复杂,要额外校验;二是小表扩容放大数据,带来额外 Shuffle 和存储。三是随机盐会影响可复现性,调试要注意;四是不是所有聚合都能套双重聚合,中位数、复杂去重要单独设计。
最后,面试回答模板来了。两者都是解决热点 Key 倾斜,核心是把一个热点 Key 人为拆成多个临时 Key。Group By 倾斜用双重聚合:先加随机盐局部聚合,把大分区拆小;再去盐,按原始 Key 全局聚合,保证结果不变。Join 倾斜用加盐扩容:大表热点 Key 随机加盐,小表对应 Key 复制多份补齐盐值,再按加盐 Key Join。生产里不会全表盲目加盐:先找 TopN 热点单独处理,非热点走普通逻辑,最后合并,用行数和金额校验结果。记住一句话:第一聚打散压力,第二聚还原结果;大表撒盐,小表扩容。