VIPSpark
Spark Shuffle过程中OOM常见原因有哪些？怎么解决
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
34 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Shuffle过程中OOM常见原因有哪些？怎么解决
这是 Spark OOM 里最容易被面试官继续追问的一题。通用回答“调大 executor-memory、增加分区”只能算入门，面试官更想听的是：OOM 发生在 Shuffle Write 还是 Shuffle Read、是聚合状态撑爆、拉取块太大、数据倾斜、分区太少，还是堆外 memoryOverhead 不够。Shuffle OOM 的核心不是内存一个点，而是数据重分布时把单个 Task、单个 Key、单个 Executor 压垮了。
评论
加载中...