VIPSpark

Spark reduceByKey与groupByKey有什么区别?为什么性能差这么多

先抓住题目的核心考点,再把答案拆成可复述的面试表达。

35 次浏览2026/7/9
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。

题目描述

请回答:Spark reduceByKey与groupByKey有什么区别?为什么性能差这么多

这是 Spark Shuffle 优化里最经典的面试题。面试官不是想听你背“reduceByKey 比 groupByKey 快”,而是想看你能不能说清楚:快在哪里、为什么少 Shuffle、什么时候不能用 reduceByKey、groupByKey 到底是不是完全不能用。很多人只会一句“reduceByKey 有预聚合”,但一问数据量怎么变、内存风险在哪里,就卡住了。

参考答案

评论

登录 后参与评论

加载中...