内存翻倍,任务为什么还挂?
凌晨三点,任务又挂了:Container 被 YARN 杀了。你把 executor memory 从4G调到8G,重跑,还是挂。面试官问:Spark 内存模型怎么理解?你只答出执行内存和存储内存。再追问:两块内存怎么抢?该调 memory,还是 overhead?就卡住了。
一句话答案:Executor 总内存分四块。堆内的执行和存储内存、用户内存、预留内存,再加堆外和 Overhead。核心是看懂执行和存储怎么互相借用,什么时候 Spill,什么时候淘汰缓存。
先看痛点。第一:内存调大了,任务还是 OOM。因为你调大的只是 JVM 堆,任务可能挂在别处:执行内存不够,Sort、Join、聚合的数据太大;堆外不够,Netty、直接内存、PySpark 吃满;用户内存被 UDF、大对象、collect 撑爆;或者一个分区倾斜。就像你把客厅扩了一倍,真正堵的却是厨房和走廊。
第二:缓存多了,Shuffle 变慢;Shuffle 大了,缓存又没了。先 cache 一张500GB的明细表,再做大表 Join、Sort,两边抢同一块堆内空间。缓存太多,执行内存不够,Shuffle 频繁 Spill 到磁盘;执行压力太大,缓存又被淘汰,复用时只能重算。Storage 像冰箱,Execution 像灶台,统一内存在两者间动态平衡。
第三:集群资源看着够,单个 Executor 还是撑不住。1TB数据分1000个分区,平均1GB;可要是倾斜出一个80GB的分区,就会撑爆一个 Executor。OOM 常常不是总内存不够,而是某个 Task 的局部内存不够。要看 Executor 多大、跑几个核、每个 Task 分多少内存。AQE 拆倾斜分区,看第18期。
核心论证第一步:分清容器内存和 JVM 堆。在 YARN 或 K8s 上,容器内存等于 executor memory 加 memoryOverhead;开了堆外,再加 offHeap;配了 PySpark 内存,再加上它。executor memory 是 JVM 堆,执行、存储、用户内存都在这里。Overhead 装额外开销:直接内存、线程栈、native、Python worker。默认取堆的10%和384MB里较大值。Container 怎么申请内存,看第9期。记住:executor memory 是堆内,overhead 是容器额外内存,不是一个东西。
第二步:堆内再切三块。Spark 1.6 以后是统一内存管理。先扣掉固定300MB的预留内存,给 Spark 系统保底。剩下的60%是统一内存,由 memory fraction 控制,执行和存储共享。另外40%是用户内存,放用户对象、UDF 中间对象和内部元数据。统一内存里,storageFraction 默认0.5,划出存储和执行的初始分界线。算一笔账:10GB的堆,扣掉300MB剩9.7GB;统一内存约5.8GB,Storage 初始约2.9GB,用户内存约3.9GB。注意,2.9GB只是初始线,不是上限,两边可以动态借用。好比办公室:预留是消防通道,用户内存是工位,统一内存是可移动的会议室。
第三步,最常被追问:Execution 和 Storage 怎么借?Execution 跑计算:Shuffle、Sort、聚合、两种 Join。Storage 存数据:RDD 和 DataFrame 缓存、广播变量、unroll 缓存块。Execution 不够,就越过分界线,借 Storage 的空闲空间;还不够,就强制驱逐缓存块,把空间拿回来。反过来,Storage 也能借 Execution 的空闲空间,但不能强占,只能等它释放。为什么?正在跑的 Shuffle 没内存,Task 就跑不下去;缓存丢了,重算就行。但驱逐有边界:Storage 有保底区 R,没超过 R 的缓存一般不会被驱逐。一句话:Execution 保当前任务能跑,不够就 Spill;Storage 保后续少重算,不够就淘汰。
第四步:User Memory 不归统一内存管,很多 OOM 是它爆的。比如在 mapPartitions 里写 iter.toList,把整个分区一次性塞进内存。这个 buffer 不属于存储,也不是执行,是你自己 new 出来的对象。一个分区1000万行,就能把堆撑爆。正确做法是边遍历边处理。Spark 管得住执行和存储,管不住你在 UDF 里乱 new 大对象。
第五步:堆外和 Overhead 不能忽略,尤其是 PySpark 和容器环境。容器限制的是总内存,堆外、Python、线程栈、Netty 用多了,堆没 OOM,容器照样被杀。典型现象:日志不是 Java heap space,而是 Container killed by YARN。PySpark 数据一大就挂,或者 executor memory 很大,overhead 却太小。这时看 overhead、overhead factor、PySpark 内存,以及有没有开堆外。开了 offHeap,堆外也分存储和执行,按二进制存,不受 GC 管理。JVM 堆像主卧,Overhead 像厨房和阳台;房东限制的是整套房。
再补三个延伸概念。第一,Tungsten:Spark 为什么要自己管内存。Java 对象很胖:对象头、指针、对齐填充,一亿条记录,额外开销很夸张。Tungsten 用二进制格式、Unsafe 和代码生成,存得更紧凑,GC 更少。第二,Spill:执行内存不够,把中间数据写到磁盘,最后归并。不马上 OOM,但会变慢。优化方向:加分区、治倾斜、能广播就广播、少做无用缓存、控制单 Executor 并发。细节看第2期。第三,Cache 不是越多越好,本质是用 Storage 换重算时间。存储级别:只放内存、内存加磁盘、只放磁盘、序列化存储。复用多、重算贵、不挤爆执行内存,才值得 cache。
串起来:OOM 先看报错,分三类。Driver OOM,多半是 collect 拉回大结果;广播小表太大也会撑爆,看第11期。Java heap space,查执行、缓存、用户对象和倾斜。Container killed,查 Overhead、PySpark 和 native 开销。
再看两个高频追问。一:统一内存管理解决了什么?旧模型执行区和缓存区固定切分,常常一边空着,另一边不够。统一内存放进同一块区域 M 动态共享,再给 Storage 留保底区 R,利用率更高。二:什么时候调 Overhead?除了容器被杀,跑 Arrow、Pandas UDF、native 库、大量 Shuffle 传输时,默认值常常偏小。
最后,面试模板:先拆容器,堆内加 Overhead,加可选堆外和 PySpark;再拆堆内:预留、用户、统一内存,执行和存储动态借用,执行优先。排查时,heap space 看堆内和倾斜,容器被杀看 Overhead 和堆外。