VIPSpark
Spark Shuffle调优参数怎么配？如何减少Shuffle数据量
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
37 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Shuffle调优参数怎么配？如何减少Shuffle数据量
这是 Spark 调优面试里最容易被问成“实战题”的知识点。面试官不是想听你背一串参数名，他想看的是：你知道 Shuffle 慢到底慢在哪，能不能先从 SQL 和算子上减少数据量，再根据 Spark UI 指标去调分区、压缩、拉取、AQE 和内存参数。很多人一上来就改 spark.sql.shuffle.partitions，但真正的问题可能是 Join 前没过滤，白白 Shuffle 了 2TB 数据。
评论
加载中...