Spark AQE 如何处理 Join 策略切换和数据倾斜

先抓住题目的核心考点，再把答案拆成可复述的面试表达。

32 次浏览2026/7/9

先下定义一句话说清它是什么，面试官先听到结论。

再讲机制拆出关键流程、边界条件和常见坑位。

最后落场景结合生产经验，说出什么时候用、怎么权衡。

题目描述

请回答：Spark AQE 如何处理 Join 策略切换和数据倾斜

这题属于 Spark SQL 高阶面试题。面试官真正想听的不是“AQE 能优化 Join”，而是：它什么时候能把 SortMergeJoin 改成 BroadcastHashJoin？什么时候能拆倾斜分区？为什么有些倾斜 AQE 也救不了？