Spark map与mapPartitions、foreach与foreachPartition有什么区别

先抓住题目的核心考点，再把答案拆成可复述的面试表达。

32 次浏览2026/7/9

先下定义一句话说清它是什么，面试官先听到结论。

再讲机制拆出关键流程、边界条件和常见坑位。

最后落场景结合生产经验，说出什么时候用、怎么权衡。

题目描述

请回答：Spark map与mapPartitions、foreach与foreachPartition有什么区别

这是 Spark 算子面试里特别爱追问的一组题。很多人只会说“map 一条条处理，mapPartitions 一批处理”，但面试官真正想听的是：它们的执行粒度、性能差异、内存风险、外部连接怎么复用，以及 foreach 为什么不能直接把结果拿回 Driver。