VIPMapReduce
Reducer 数量设置过多或过少会有什么问题?怎么合理设置
先抓住题目的核心考点,再把答案拆成可复述的面试表达。
8 次浏览2026/8/8
先下定义一句话说清它是什么,面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验,说出什么时候用、怎么权衡。
题目描述
请回答:Reducer 数量设置过多或过少会有什么问题?怎么合理设置
这是 MapReduce 调优里很常见的一道实战题。很多人只会背一句“Reducer 越多并行度越高”,或者直接套用“每个 Reducer 处理 128MB 到 256MB 数据”。但面试官真正想听的是:Reducer 数量会同时影响 Shuffle 分区、任务并行度、内存压力、输出文件数量和数据倾斜,你如何根据数据量和集群资源做取舍。
参考答案
刷题导航
评论
加载中...