只会加盐?面试官摇头
凌晨三点,Hive 任务卡在 Reduce 99%,一个小时纹丝不动。两百个 Reducer,一百九十九个早就跑完,只剩一个还在跑。面试官问:这种数据倾斜,除了加盐,还有什么办法?只会说加盐,面试官直接摇头。今天把 MapJoin、Skew Join 和参数一次讲清。
一句话回答:先定位倾斜发生在 Join、Group By,还是 Count Distinct。再对症处理:过滤空值、拆热点 Key、MapJoin、Skew Join、两阶段聚合,还有分桶和调参数。加盐只是其中一种。
先看痛点一:热点 Key 全进一个 Reducer。Shuffle 按 Key 分区,同一个 Key 必须进同一个 Reducer,才能 Join 或聚合。两个 Reducer 各一百万行,第三个收到了 user_id 为空的三亿行。就像十个窗口办业务,九个各排一百人,一个排三万人,下班时间由最长那队决定。
痛点二:盲目加盐,可能把结果搞错。Join、Group By、Count Distinct 的加盐写法各不相同。随手加随机数,可能 Join 不上,也可能聚合重复。所以治理倾斜,第一步永远是定位,不是套模板。加盐的完整写法,可以回看第 3 期。
方案一:先处理空值和无效值,这是最常见的热点。user_id 为空、为零,或者是 unknown,这些 Key 没有真实的 Join 价值。做法是拆成两路:有效的 user_id 正常 Join 用户维表。无效值单独兜底成 unknown,不进 Join,最后 UNION ALL 合并。热点不进 Join,倾斜自然消失。前提是确认业务语义允许这么做。
方案二:大表 Join 小维表,优先 MapJoin。原理第 8 期讲过,这里只说结论:小表广播到每个 Mapper,大表不再按 Join Key 做 Shuffle。没有 Shuffle,热点 Key 就不会挤进同一个 Reducer。能 MapJoin,就别上来加盐,简单方案更好维护。风险是小表太大会 OOM。
方案三:两张大表 Join,热点又很明显,用 Skew Join。打开 Skew Join 开关,Hive 在运行时统计每个 Key 的行数。超过阈值,默认十万行,就判定为热点 Key。普通 Key 照常走 Reduce Join;热点 Key 先落到临时目录。再起一个 MapJoin 单独处理,最后合并结果。参数不是魔法。开完要看执行计划和任务指标,确认热点真的被拆开。
方案四:Group By 倾斜,用两阶段聚合。比如按类目统计 GMV,某个类目数据特别多。第一阶段,给 Key 拼上零到十五的随机前缀,热点拆成十六份,各自局部聚合。第二阶段,去掉前缀,按原类目汇总。结果正确,压力也分散了。Hive 也有现成参数:打开 skewindata,自动拆成两个 MR 任务。第一个随机分发、局部聚合,第二个按原 Key 汇总。再配合 Map 端预聚合,热点在进 Reducer 之前就先缩小一轮。
最后是调 Reducer 数,它只能缓解,不能消灭热点。Reducer 多了,普通 Key 分得更散,但同一个热点 Key,仍然只进一个 Reducer。因为相同 Key 必须在一起,结果才完整。要拆单个热点,就必须改变 Key 本身。几种方案对比,记一句就够:先用简单的过滤和 MapJoin。再上 Skew Join 和两阶段聚合,加盐最复杂,放在最后。
补充两点。第一,Count Distinct 倾斜要特别小心,它常把大量数据集中到一处处理。可以先按更细的粒度去重,再二次聚合;能接受误差,就用近似去重。第二,判断倾斜要看任务指标:Reducer 的输入行数、字节数和运行时长。一个 Reducer 比其他多一百倍数据,才是典型倾斜。倾斜是不均匀,资源不足是大家都慢;后者要查资源、扫描量和小文件,小文件见第 13 期。
串成决策树,先问:倾斜发生在哪?Join 倾斜:小表 Join 大表,就 MapJoin;少数热点 Key,就过滤、拆热点、Skew Join 或加盐。热点不明显,就调 Join 顺序、分桶或 Reducer。Group By 用两阶段聚合,Count Distinct 先去重再聚合。
最后看两个常见追问。一:加盐 Join,怎么保证结果正确?大表热点 Key 加随机盐,小表对应的热点 Key,要复制 N 份,分别带上零到 N 减一的盐值。最怕只给大表加盐、小表不扩容,结果直接 Join 丢失。二:Skew Join 开了参数,就一定有效吗?不一定,它依赖版本、执行引擎和阈值。热点如果来自业务空值,手工过滤比指望参数更直接。
面试回答提炼成一句:先定位,再对症。无效 Key 先过滤,小表走 MapJoin,大表热点用 Skew Join 或加盐,Group By 两阶段聚合。调 Reducer 只提并行度,最后用任务指标验证。不定位就加盐,是最危险的回答。