只答自适应?一追问就卡住
面试官问:Spark 的 AQE 是什么?你答:自适应查询执行,能自动优化。面试官追问:为什么需要运行时优化?它到底改了什么?哪些慢 SQL 能靠它救回来,哪些不能?只背一个名字,一追问就卡住。今天把 Spark AQE 讲透。
一句话答案:先按静态规则生成计划,跑到 Shuffle 边界,再按真实数据量动态改计划。它主要解决三类问题:Shuffle 分区不合理、Join 策略选错、数据倾斜。
先看痛点:静态优化为什么不够用?第一,优化器只能靠估计。没有 AQE,物理计划在作业开始前就基本定好了。可表大小可能过期,过滤命中率不准,数据分布也看不到。比如10亿行的订单表,按日期和城市过滤,优化器估计还剩2亿行,真实只有300万。这个差距,会直接影响 Join 策略、Shuffle 分区数和任务数量。就像出门前看天气预报穿衣;AQE 是走到楼下发现下雨,立刻回头拿伞。
第二,Shuffle 分区数写死,要么太碎,要么太粗。很多公司把它设成200或1000,可它不可能对所有 SQL 都合适。过滤后只剩几百MB,还拆成1000个分区,任务太碎,调度开销很大。数据膨胀到几百GB,还只有200个分区,单个 Task 太重,容易 Spill、拖尾,甚至 OOM。AQE 不是帮你定死分区数,而是在 Shuffle 写完后看真实大小,再决定下游要几个分区。
第三,Join 策略提前选错,后面就一路慢到底。三种 Join 策略第11期讲过:小表广播,大表排序合并,内存够再 Hash。典型错误:优化器以为维表很大,选了 SortMergeJoin;实际过滤后只剩20MB,本可以广播。结果多了一次 Shuffle 和排序。答案没错,就是慢。就像准备开大货车搬家,到现场只有两个箱子;AQE 允许你临时换小车。
AQE 到底怎么工作?先把物理计划切成多个 Query Stage。切分点就是 Shuffle 边界。Shuffle 的原理,第2期讲过。上游 Stage 跑完、Shuffle 写完,Spark 就拿到了真实统计:每个分区多大、多少行。AQE 拿着这些真实数字,重新优化下游的 Join、聚合和 Shuffle 读取。Spark SQL 计划里天然有 Exchange、Join、Aggregate,AQE 正好在阶段之间插手。所以 AQE 不是神仙调参,它只能优化运行时看得到的数据分布和 Shuffle 结果。
第一项能力:动态合并过小的 Shuffle 分区。比如过滤后只剩2GB,却配了1000个分区,每个才2MB左右。没有 AQE,下游要起1000个 Task;开了 AQE,按目标大小合并,大约32个 Task 就够。数据没变,调度开销、Task 启动开销和碎片都降下来了。就像1000个小快递,不再一件派一个骑手,而是同片区合并配送。
第二项能力:运行时把 SortMergeJoin 换成 BroadcastHashJoin。看这条 SQL:订单明细 Join 用户画像表,只要活跃用户。统计信息不准时,Spark 以为画像表很大,选了 SortMergeJoin。开了 AQE,过滤阶段跑完,发现活跃用户只有几十MB。低于广播阈值,就切成广播 Join,减少 Shuffle 和排序;否则继续 SortMergeJoin,保稳定。两者一对比:SortMergeJoin 两边都大也稳;广播 Join 快,但小表太大会撑爆内存。所以 AQE 不是无脑广播,而是拿到真实大小后,再判断能不能安全广播。
第三项能力:识别并拆分倾斜分区。典型表现:大部分 Task 几分钟跑完,只有一个要跑几十分钟。原因通常是某个 Key 数据特别多,比如北京,或者 unknown 用户,挤进了同一个分区。AQE 发现这个8GB的分区明显偏大,就把它拆成多个1GB左右的小块。每块再和另一边对应的分区匹配,多个 Task 并行处理,慢 Task 不再拖尾。就像一个窗口排了一千人,临时把长队拆给多个窗口。手动加盐的思路,第3期讲过。
再补两个概念。第一,Query Stage,就是被 Shuffle Exchange 切开的执行片段。一个 Stage 产出 Shuffle 文件,才知道真实分区大小,所以优化发生在 Stage 之间。它能优化分区合并、Join 策略、倾斜分区;SQL 写错、缺过滤条件、笛卡尔积,它救不了。第二,常见配置,知道名字即可,别死背默认值。这些参数背后都是同一件事:用运行时统计信息做决策。
串成决策树:SQL 慢,先问慢在逻辑还是执行。逻辑写错,先改 SQL。没有 Shuffle,AQE 作用有限;有 Shuffle,就按分区太碎、小表变小、分区倾斜,对上三项能力。都不是,再去看 IO、内存和资源队列。
再看四个高频追问。一:开了 AQE,还要调 Shuffle 分区数吗?要。初始值可以偏大,让上游写细,再交给 AQE 合并。但不能无限大,否则上游元数据和调度压力也会上来。二:为什么不能一开始就知道最优计划?因为过滤后剩多少行、分区多大、哪个 Key 倾斜,只有跑起来才知道;表统计也可能过期。三:AQE 能完全解决数据倾斜吗?不能,它只管 Shuffle 分区层面的倾斜。如果 unknown 用户占了60%,还得配合业务:过滤异常 Key、加盐、两阶段聚合、拆热点。四:开了 AQE,结果会变吗?正常不会,它只改物理计划,不改逻辑语义。但没排序就取 first 这种写法,本来就不稳定,不能怪 AQE。
最后,面试回答模板:AQE 跑到 Shuffle 边界,拿真实数据量,动态改后续计划。三项能力:合并碎分区、切换广播 Join、拆分倾斜分区。判断标准:慢点集中在 Shuffle、Join、少数慢 Task,AQE 才很可能有用。