VIPSpark
Spark reduceByKey与groupByKey有什么区别?为什么性能差这么多
先抓住题目的核心考点,再把答案拆成可复述的面试表达。
35 次浏览2026/7/9
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。
题目描述
请回答:Spark reduceByKey与groupByKey有什么区别?为什么性能差这么多
这是 Spark Shuffle 优化里最经典的面试题。面试官不是想听你背“reduceByKey 比 groupByKey 快”,而是想看你能不能说清楚:快在哪里、为什么少 Shuffle、什么时候不能用 reduceByKey、groupByKey 到底是不是完全不能用。很多人只会一句“reduceByKey 有预聚合”,但一问数据量怎么变、内存风险在哪里,就卡住了。
评论
加载中...