Combiner 和 Reducer 有什么区别?哪些计算不能使用 Combiner
这道题考什么
这是 MapReduce Shuffle 里的经典高频题。很多人的回答只有一句:“Combiner 在 Map 端先聚合,Reducer 在 Reduce 端最终聚合。”这句话没错,但远远不够。面试官通常会继续问:Combiner 一定执行吗?会执行几次?平均值能不能用?为什么同一个 Reducer 类有时能直接拿来当 Combiner,有时不行?真正的判断标准不是“这个计算看起来像聚合”,而是:局部结果能否继续作为同一种计算的输入,并且无论分几批、合并几次,最终答案都不变。
一句话回答
Combiner 是 Map 端 Shuffle 过程中的可选本地预聚合,用来减少网络传输,框架不保证它一定执行或只执行一次;Reducer 是分区级的最终处理阶段,每个 Key 的全部中间结果最终要到同一个 Reducer。只有满足可结合、通常还要可交换,并且中间输出能被继续合并的计算,才适合使用 Combiner。