Spark 的 Join 策略

只答小表广播?一追问就卡

章节

  • 0:00 开场
  • 0:23 一句话回答
  • 0:41 三种 Join ① · BroadcastHashJoin
  • 1:06 三种 Join ② · SortMergeJoin
  • 1:30 三种 Join ③ · ShuffleHashJoin
  • 1:46 怎么选 ① · 能广播先广播
  • 2:26 怎么选 ② · 两边都大
  • 2:53 怎么选 ③ · Hash 表放不放得下
  • 3:20 怎么选 ④ · 非等值 Join
  • 3:55 补充 · Hint / AQE / 统计信息
  • 4:29 完整决策树
  • 4:55 高频追问
  • 5:43 面试回答模板

文稿

开场

面试官问你:Spark 的 Join 策略有哪些?怎么选?你答:小表用 Broadcast,大表用 Shuffle。面试官追问:SortMergeJoin 和 ShuffleHashJoin 区别在哪?为什么默认偏向前者?非等值 Join 呢?只背口诀,一追问就卡住。今天把 Spark 的 Join 策略讲透。

一句话回答

先给一句话答案:选 Join 策略,核心看三件事。第一,Join 条件是不是等值;第二,一边能不能安全广播。第三,两边的数据量和内存,更适合 Hash,还是排序。生产里最常见的,是广播 Join 和 SortMergeJoin。

三种 Join ① · BroadcastHashJoin

先看三种 Join。第一种,BroadcastHashJoin:小表广播,大表本地匹配。20MB 的小表 dim_user,先发到每个 Executor,在内存里建好 Hash 表。500GB 的大表 dwd_order,每个分区直接在本地查表,完成 Join。思路和上期讲的 Hive MapJoin 一样。就像每个考场发一份答案索引,不用互相传卷子。

三种 Join ② · SortMergeJoin

第二种,SortMergeJoin,大表 Join 大表最常见、最稳的策略。订单表和支付表,都先按 user_id 做 Shuffle,相同 Key 进同一个分区。然后分区内两边各自排序。最后像拉链一样,按 Key 归并匹配。它慢在 Shuffle 和排序,但胜在稳定,不用把大表硬塞进内存。

三种 Join ③ · ShuffleHashJoin

第三种,ShuffleHashJoin。它也先按 Join Key 做 Shuffle。但分区内不排序,而是挑相对小的一边,构建 Hash 表。再用另一边逐条去探测。内存够,它就快;内存不够,风险就高。

怎么选 ① · 能广播先广播

到底怎么选?第一,能广播,就优先广播。因为它能避免大表按 Join Key 做 Shuffle,收益往往最高。典型写法:订单明细 Join 用户等级维表,用 BROADCAST Hint 广播维表 u。但广播不是越多越好。小表太大,会压到 Driver、网络传输和 Executor 内存。所以先问:低于广播阈值,Executor 内存也够吗?够,就走 BroadcastHashJoin,适合维表 Join 事实表。不够,别强行广播,考虑 SortMergeJoin,免得广播失败或 OOM。把一本通讯录复制给每个人很划算;复制一整车档案,就荒唐了。

怎么选 ② · 两边都大

第二,两边都大时,SortMergeJoin 通常最稳。比如订单明细 Join 支付明细,两张大表按 order_id 关联。Shuffle 加排序,成本高,但它不要求一边放进内存,还能 Spill 到磁盘。三种一对比:广播最快但挑小表,SortMergeJoin 最稳,ShuffleHashJoin 看内存。所以 Spark 不是永远选最快的,而是在快和稳之间做平衡。

怎么选 ③ · Hash 表放不放得下

第三,ShuffleHashJoin 快不快,取决于分区内的 Hash 表能不能放下。它省掉了排序,有些场景比 SortMergeJoin 更快。Shuffle 后每个分区,小边约20MB,Hash 表放得下,它就可能更快。但如果某些分区的小边有2GB,Hash 表放不下,就有 Spill 甚至 OOM 的风险。关键:判断单位不是整张表,而是 Shuffle 后每个分区里较小的那一边。

怎么选 ④ · 非等值 Join

第四,非等值 Join,很多时候走不了普通的 Hash Join。Hash Join 依赖等值条件,比如 a.user_id 等于 b.user_id。如果是范围 Join:事件时间落在活动开始和结束之间,就没法按一个 Key 建 Hash 表。这种可能走 BroadcastNestedLoopJoin:小表广播,再逐条判断。两边都大,风险就很高,通常要改写数据模型。比如把时间段提前展开到日期粒度,或者先粗粒度过滤,再精确匹配。所以别只背三种名字,先判断 Join 条件的类型。

补充 · Hint / AQE / 统计信息

再补三个概念。第一,Join Hint。BROADCAST、MERGE、SHUFFLE_HASH,都只是给优化器的建议,不保证生效。Hint 适合数据规模很确定的场景;写死了,今天很快,明天可能出事故。第二,AQE,能在运行时切换 Join 策略,但依赖执行中产生的统计信息。SQL 本身是笛卡尔积、漏了 Join 条件、过滤写错,AQE 也救不了。第三,统计信息。统计准,初始计划就更接近正确;不准,只能等 AQE 纠偏,而纠偏不一定发生。

完整决策树

串成一棵决策树。第一问:是不是等值 Join?不是:一边很小,就广播后逐条判断;否则高风险,要改写模型或预聚合。是:能安全广播就广播;两边都很大,SortMergeJoin 兜底。中间地带,看分区内小边放不放得下。放得下,可以考虑 ShuffleHashJoin;放不下,还是 SortMergeJoin 更稳。

高频追问

再看四个高频追问。一:大表 Join 大表,为什么常用 SortMergeJoin?因为稳。它能 Spill 到磁盘,慢一点还能优化,OOM 直接失败更麻烦。二:广播 Join 为什么快?大表不用 Shuffle,通常也不用排序。比如订单表 Join 用户等级表、商品类目表;前提是广播表真的小。三:什么时候别强制写 BROADCAST Hint?小表大小、统计、命中率波动大的时候。比如活动维表平时20MB,大促当天膨胀到5GB,写死 Hint,就可能广播超时或 OOM。四:非等值 Join 怎么优化?一边能变小,就广播。两边都大,就先用等值 Key 缩小候选集,再做精确过滤。核心是先减少匹配范围,再做复杂判断。

面试回答模板

最后,面试回答模板。三种策略各一句:小表广播、大表求稳、内存够再 Hash。非等值 Join 单独看:小表就广播,否则改写模型。记住判断顺序:先看等值,再看能否安全广播,最后在快和稳之间做选择。

看完去做题