加了cache,作业反而挂了?
加了一行 cache,Spark 作业没变快,反而因为内存不够直接挂了。可要是不加缓存,同一份 1TB 订单日志,两个 Action 就得从头扫两遍。面试官问:Spark 的 cache 和 persist 有什么区别?缓存策略怎么选?他不是想听你说一句:cache 是 persist 的简写。他想看你知不知道:缓存什么时候有用,默认缓存级别是什么,内存放不下会怎样,为什么缓存后还要 Action 触发,以及什么时候必须 unpersist。很多 OOM,不是算子写错了,而是缓存用错了。
一句话回答。cache 本质上是 persist 的简写,用的是默认存储级别。persist 可以指定级别,比如 MEMORY_ONLY、MEMORY_AND_DISK、DISK_ONLY。缓存策略的核心:只缓存会被多次复用、而且重算成本高的数据;用合适的级别兜底;用完及时 unpersist,把资源还回去。
先看痛点:为什么需要缓存?痛点一,多个 Action 重复计算同一条血缘。Spark 是惰性执行的。一个 RDD 如果被两个 Action 使用,默认会从源头算两遍。比如从 HDFS 读订单日志,filter 留下已支付的,再 map 解析成订单,得到 clean。接着先 count 一次,再对订单数值求和一次。如果 clean 没有缓存,count 算一遍,sum 又从 textFile 重新算一遍。数据量 1TB 时,这就是两次扫描、两次解析。打个比方:洗好一篮菜,第一道菜用完就倒掉,第二道菜又重新洗一遍。缓存,就是把洗好的菜先放在旁边,后面接着用。
痛点二:迭代计算没有缓存,会慢到离谱。机器学习、图计算、复杂指标的多轮迭代,同一份中间数据会被反复使用。比如原始行为日志有 10亿行,从里面提取特征,成本很高。训练跑 10 轮,如果每轮都从源头重算,就是 10 次完整的特征提取。特征 persist 之后,第 1 轮算完存下来,后面 9 轮直接复用。循环结束,再调用 unpersist 释放。
核心论证:cache 和 persist 到底差在哪?区别一,cache 是默认档,persist 是可选档。以 Spark 3.5 为例,Scala 的 RDD,cache 等价于 persist MEMORY_ONLY。Dataset 和 DataFrame 不一样:cache 和无参 persist,默认是 MEMORY_AND_DISK。源码注释给的理由是:重建 SQL 的内存列式缓存代价高,所以默认允许落盘。PySpark 也要分开记:RDD 默认 MEMORY_ONLY,但 Python 对象总会用 Pickle 序列化保存;PySpark 的 DataFrame,默认是 MEMORY_AND_DISK_DESER,和 Scala 对齐。所以面试最稳的说法是:cache 是快捷方式,persist 能显式选择 StorageLevel。放进一张表对比。灵活性上,cache 只有默认级别;persist 可以选内存、磁盘、序列化和副本。适合场景上,cache 适合小数据、默认缓存就够的情况;生产调优更常用 persist。内存不够时,cache 怎么处理取决于默认级别;persist 可以用 MEMORY_AND_DISK 兜底。可读性上,cache 更简洁,persist 意图更明确。两者有一点完全相同:都不会立即执行。
区别二:缓存也是惰性的,需要 Action 触发。很多人以为写了 cache,数据马上就进内存了。其实不会。cache 只是给 RDD 打一个标记,告诉 Spark:下次算出它时,把结果存起来。比如 hot 等于 raw 过滤出已支付的数据,再 cache。到这一行,还没有真正缓存。第一次 count,才真正计算,并把各个 Partition 存进 Executor 的 Storage Memory。第二次 take 10,就尽量从缓存里读。再补一个细节:缓存按 Partition 存,只有被算到的分区才会进缓存。如果第一次 Action 是只读几个分区的 take,缓存只物化了一部分;想整份物化,常用 count。另外,SQL 里的 CACHE TABLE 默认立即缓存,加上 LAZY 才是惰性的。面试里这一点很加分:cache 不是动作,只是标记;Action 才会真正物化缓存。
区别三:缓存级别,要看数据大小和复用次数。MEMORY_ONLY,只放内存,放不下的分区就不缓存,用到时按血缘重算。适合数据小、重算不贵。MEMORY_AND_DISK,内存放不下的分区写到本地磁盘,适合大的中间结果。但官方也提醒:除非上游计算很贵、或者过滤掉了大量数据,否则重算可能和读磁盘一样快。DISK_ONLY,只放磁盘,适合内存紧张、但重算很贵的情况。MEMORY_ONLY_SER,序列化后放内存,更省空间,但读的时候要反序列化,CPU 开销更高。它适合对象膨胀严重的数据。MEMORY_AND_DISK_SER,是序列化加磁盘兜底,适合内存紧张的大对象。这两个 SER 级别只在 Java 和 Scala 里有;Python 本来就序列化保存。带下划线 2 的副本级别,每个分区在两个节点上各存一份。所有级别丢了分区都能按血缘重算;副本的价值是不用等重算、恢复更快,代价是多占一倍资源。
缓存也不是越多越好。Executor 的统一内存里,Storage Memory 存缓存的 RDD 和 DataFrame;Execution Memory 给 Shuffle、Join、Sort 和聚合用。两块可以互相借用;但执行内存只能把缓存驱逐到一条保护线,默认是统一内存的一半。缓存占得太多,执行内存就被挤压:Shuffle 频繁 Spill,GC 变重,严重时直接 OOM。这就是开头那一幕:一行 cache 没带来复用,反而把作业压垮了。
补充概念一:unpersist 必须有意识地用。内存紧张时,Spark 会按 LRU 淘汰旧分区,但它不知道你后面还用不用这份数据。长链路作业里,前面缓存了大表,后面不用了却不 unpersist,它会一直占着 Storage Memory。比如用户维表 dim persist 之后,job1、job2 多次复用;后面不用了,就主动 unpersist 释放。它默认不阻塞,要等释放完成,就传 blocking 等于 true。
补充概念二:缓存和 Checkpoint 不是一回事。cache 和 persist 是性能优化,数据存在 Executor 的内存或磁盘,丢了可以按血缘重算。Checkpoint 是容错和截断血缘,数据写到 HDFS 这类可靠存储,作为新的起点。缓存适合多次复用;Checkpoint 适合血缘太长、迭代太多、容错恢复成本太高的场景。还有个细节:RDD 的 checkpoint 也要等 Action,而且会把数据再算一遍,所以官方建议先 persist。Dataset 的 checkpoint 则默认立即执行。
把这些串成一棵决策树。第一问:这份数据会被复用几次?只用一次,不要缓存,纯属浪费内存。两次以上,再问:重算成本高吗?不高,可以不缓存,看资源情况。成本高,再问:数据能放进内存吗?能放下,用 cache 或 MEMORY_ONLY;不确定或者偏大,MEMORY_AND_DISK 更稳;对象膨胀严重,用 SER 级别,拿 CPU 换内存。不管选哪一档,都要用 Action 物化缓存,用完以后 unpersist。
面试这样答:cache 是 persist 的快捷方式,用默认级别;persist 能显式指定 StorageLevel。两者都不是 Action,后续 Action 真正算到它时,才把结果物化到缓存。缓存策略看三点:会不会多次复用,重算成本高不高,数据大小和内存稳不稳。不确定时倾向 MEMORY_AND_DISK;用完 unpersist,别让缓存挤压 Shuffle 和 Join 的执行内存。
再看四个常见追问。追问一:cache 之后,为什么 Spark UI 里看不到缓存?前面讲过,cache 只是标记;没有 Action 算到它,就没有缓存。可以先执行一次 count 物化缓存,再去 Spark UI 的 Storage 页面看。如果仍然看不到,可能是这份数据没被真正用到,或者缓存太大被驱逐了。追问二:MEMORY_ONLY 内存放不下会怎样?放不下的 Partition 不进缓存,也不会自动写磁盘,下次需要时按血缘重算。如果上游计算很贵,就会反复重算,任务变慢。数据大小不确定、上游又贵时,更稳的是 MEMORY_AND_DISK:读磁盘虽然慢,但比反复重算稳定。追问三:缓存会不会导致 OOM?会。两块内存虽然能互相借用,但缓存太多,仍会造成频繁驱逐、Spill,甚至 OOM。排查时看 Spark UI 的 Storage 和 Executors 页面:缓存占用高、GC 时间长、Shuffle Spill 多,就要减少缓存,或者换缓存级别。追问四:DataFrame 的 cache 和 RDD 的 cache 有什么区别?RDD 缓存的是 JVM 对象或序列化对象;DataFrame 用内存列式格式,只扫需要的列,还会自动压缩。所以生产 SQL 作业里,更推荐缓存 DataFrame,而不是转成 RDD 再缓存,这样能保留 Catalyst 优化和列裁剪。除非确实需要底层 RDD API,否则不要轻易降级到 RDD。
最后记住:缓存不是免费的加速器,而是拿内存换重算。复用才缓存,挑对级别,Action 物化,用完释放。