Spark哪些算子会触发Shuffle？怎么判断

先抓住题目的核心考点，再把答案拆成可复述的面试表达。

27 次浏览2026/7/9

先下定义一句话说清它是什么，面试官先听到结论。

再讲机制拆出关键流程、边界条件和常见坑位。

最后落场景结合生产经验，说出什么时候用、怎么权衡。

题目描述

请回答：Spark哪些算子会触发Shuffle？怎么判断

这是 Spark 面试里最基础、但也最容易答浅的一题。面试官不是想听你背几个算子名，他真正想听的是：你能不能判断一个操作为什么会触发 Shuffle，RDD 和 Spark SQL 分别有哪些典型场景，哪些算子看起来像 Shuffle 但不一定 Shuffle。很多人只会说 groupByKey、join 会 Shuffle，一追问 reduceByKey、distinct、窗口函数、coalesce 就开始含糊。

Spark哪些算子会触发Shuffle？怎么判断

题目描述

参考答案

评论