VIPSpark
Spark Map端聚合和Reduce端聚合有什么区别？reduceByKey会发生几次Shuffle
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
41 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Map端聚合和Reduce端聚合有什么区别？reduceByKey会发生几次Shuffle
这是 Spark RDD 和 Shuffle 面试里非常容易答错的一题。面试官问 Map 端聚合和 Reduce 端聚合，不是想听你说“一个在 Map 端，一个在 Reduce 端”这种废话，他真正想听的是：Map 端聚合是不是一次 Shuffle、reduceByKey 到底发生几次 Shuffle、为什么它比 groupByKey 快，以及什么聚合函数不能随便做 Map 端预聚合。很多人会把“聚合次数”和“Shuffle 次数”混在一起，这就是坑点。
评论
加载中...