VIPSpark
Spark Shuffle中的Spill机制是什么？为什么会溢写磁盘
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
35 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Shuffle中的Spill机制是什么？为什么会溢写磁盘
这是 Spark OOM 和 Shuffle 调优里特别常见的追问题。面试官问 Spill，不是想听你说“内存不够就写磁盘”，他真正想听的是：Shuffle Write 和 Shuffle Read 哪些地方会 Spill，Memory Spill 和 Disk Spill 指标怎么看，Spill 是保护机制还是性能问题，以及如何减少 Spill。很多人看到 Spark UI 里 Spill 很高就只会加内存，其实更常见的根因是分区太少、数据倾斜、聚合写法不对。
评论
加载中...