VIPSpark
Spark AQE 如何动态合并 Shuffle 分区
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
32 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark AQE 如何动态合并 Shuffle 分区
这题经常出现在 Spark 调优追问里。面试官不只是想问你“知道 AQE 吗”，而是想看你能不能把 Shuffle 分区数、Task 数、文件大小、调度开销 串起来讲清楚。很多人一上来就背 spark.sql.shuffle.partitions，但真正的关键是：分区数为什么会不合理？AQE 是根据什么合并的？
评论
加载中...