Hive 的 Mapper 和 Reducer 数量由什么决定?设置过多或过少有什么问题

这道题考什么

这是 Hive 调优里非常高频、也最容易靠经验数字答错的一题。有人看到任务慢就把 Reducer 从 50 改到 500,有人看到 10 万个小文件就调大 Block Size,还有人认为“1 个 HDFS Block 就一定启动 1 个 Mapper”。真正应该回答的是:Mapper 数量来自输入切片,Reducer 数量来自每个 Shuffle Stage 的分区规划;文件布局、格式、统计信息、SQL 算子和执行引擎都会参与决定,数量过多与过少都可能变慢。

一句话回答

Hive 的 Mapper 数量主要由 InputFormat 生成的 InputSplit 数量决定,受文件数量、文件大小、Block、可切分性、Split 参数和小文件合并策略影响;Reducer 数量只在需要 Shuffle 的 Stage 中出现,由 SQL 算子、预计 Shuffle 数据量、每个 Reducer 目标数据量、最大值和显式配置共同决定。过多会增加调度、连接、排序和小文件开销,过少会导致并行度不足、单 Task 数据过大、Spill/OOM 和长尾;数据倾斜则需要先治 Key 分布,不能只改数量。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目