VIPSpark

Spark Driver OOM 常见原因有哪些?怎么排查

先抓住题目的核心考点,再把答案拆成可复述的面试表达。

35 次浏览2026/7/16
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。

题目描述

请回答:Spark Driver OOM 常见原因有哪些?怎么排查

这是 Spark 排障面试里很容易被追问细节的一题。面试官不是想听你说“把 driver-memory 调大”,而是想看你能不能讲清楚:Driver 到底负责什么、哪些操作会把压力打到 Driver、怎么从日志和 Spark UI 里定位问题

大部分人的错误回答是:Driver OOM 就加 Driver 内存。这个答案只能算“止血”,但面试里不够。真正稳的回答应该是:先判断 Driver 是被结果集、广播对象、任务元数据、执行计划哪一种东西撑爆,再决定是改代码、改分区、改 Join 策略,还是最后再调资源。

参考答案

评论

登录 后参与评论

加载中...