VIPSpark
Spark OOM怎么排查和解决?别一上来就只会加内存
先抓住题目的核心考点,再把答案拆成可复述的面试表达。
48 次浏览2026/7/9
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。
题目描述
请回答:Spark OOM怎么排查和解决?别一上来就只会加内存
这是 Spark 面试和生产排障里特别高频的问题。面试官不想听你只说"调大 executor-memory",他真正想听的是:你能不能先判断是哪种 OOM,再根据 Driver、Executor、Shuffle、数据倾斜、代码写法分别处理。
大部分人的错误回答是:Spark OOM 了就加内存、加 executor、调大并行度。这些手段不是不能用,但如果你不知道 OOM 发生在哪里,加内存就像头疼只吃止疼药:短期可能压住,下一次数据量一涨还是炸。
评论
加载中...