中间经过几步?一追问就卡壳
面试官问:说说 MapReduce 的 Shuffle 过程?你答:Map 的输出,传给 Reduce。面试官追问:中间经过哪几步?每一步解决什么问题?这是 MapReduce 最有区分度的一题,今天一次讲透。
一句话答案:Shuffle 是 Map 输出到 Reduce 输入之间,数据的搬运和整理过程。Map 端做分区、排序、溢写、合并;Reduce 端做拷贝、合并、排序。目标只有一个:同一个 Key 的数据,全部到达同一个 Reduce,并且有序。
打个比方:100个仓库同时发货,是 Map;北京、上海、广州3个配送站,是 Reduce。每个仓库都混着三个城市的包裹,Shuffle 就是分拣、打包、运到对应站点。它横跨两端:Map 端整理好,Reduce 端通过 HTTP 拉走,再整理一遍。
先看 Map 端,共6步,拿 WordCount 举例。第1步:map 输出的 KV 不直接写磁盘,先写进内存的环形缓冲区。缓冲区默认100MB,写到80%,就触发溢写。为什么是环形?溢写的同时,map 还能往剩下的20%继续写,不用停下来等。只有剩下的20%也写满,map 才会阻塞,生产中很少见。
第2步:分区。每条 KV 写入时,Partitioner 先算出它该去哪个 Reduce。默认是 HashPartitioner:Key 的哈希值,对 Reduce 个数取模。3个 Reduce:hello 去2号,world 去0号,hadoop 去1号。分区号和 KV 一起记进索引区。
第3步:排序。溢写前,先按分区号加 Key 做快速排序。排完,分区0在前、分区2在后,分区内按 Key 字典序排列。关键优化:排序移动的是索引,不是数据。KV 原地不动,大幅减少内存拷贝。
第4步,可选:Combiner。写盘前,把同一分区里相同 Key 的数据做本地预聚合。三条 hello 1,合成一条 hello 3,写盘和网络传输都省了三分之二。但只有满足结合律的运算才能用,比如 sum、count、max。求平均值就不行:先两两平均、再平均,不等于整体平均。
第5步:溢写。排好序的数据写到磁盘,生成一个溢写文件。文件按分区号排列,分区内 Key 有序,头部索引记着每个分区的起止位置。输入500MB,每80MB溢写一次,一个 Map 就会产生6到7个溢写文件。
第6步:合并。Map 结束时,把所有溢写文件归并排序,合成一个最终文件。这样 Reduce 只读一个文件,而且依然分区有序、Key 有序。一次最多合并10个文件,由 sort factor 控制,超过10个就要多轮归并。
回头细看 Partitioner,它决定了结果对不对。相同 Key 必须去同一个 Reduce,否则聚合结果就错了。默认哈希零成本,Key 均匀时最好用;可一遇到热点 Key,就会严重倾斜。比如80%的订单来自北上广,就可以自定义 Partitioner。热门城市各占一个 Reduce,其他城市共享一个。要全局有序,就用 TotalOrderPartitioner 做范围分区。这样 Reduce 0的 Key,全部小于 Reduce 1。
再看 Reduce 端,共三步。第1步 Copy:通过 HTTP,从各个 Map 拉取自己分区的数据。不用等所有 Map 跑完,第一个 Map 完成,就开始拉。默认同时从5个 Map 拉,数据先放内存,JVM 堆的70%用作缓冲,放不下再写磁盘。
第2步 Merge:每份数据在各自 Map 里有序,跨 Map 却是乱的,要再归并一次。分两阶段:内存攒到阈值,先合并写盘;最后把磁盘文件归并成一个有序数据流。第3步,交给 reduce:同一个 Key 的 Value,聚成一个迭代器。比如 hello 带着五个1,输出 hello 5。数据有序,分组只要看当前 Key 和上一个是否相同,扫一遍就行,复杂度 O(n)。
关键参数记五个数:缓冲区100MB、溢写80%、合并因子10。Copy 并行度5、Reduce 内存占比70%。另外,Map 输出压缩默认关闭。
面试这样答:Map 端四件事:写缓冲区、算分区、排序溢写加 Combiner、合并文件。Reduce 端三件事:拉取本分区数据、归并排序、按 Key 分组交给 reduce。再补一句:Shuffle 是 MapReduce 最重要也最慢的环节。
再看三个高频追问。一:数据量很小,缓冲区一直没到80%,怎么办?那就在内存排好序,直接写成唯一的输出文件,不溢写也不合并,效率最高。所以小作业适当调大缓冲区,性能提升明显。二:Reduce 怎么知道去哪拉?Map 完成后,向 AM 汇报输出位置,AM 第9期讲过。Reduce 定期向 AM 询问,哪些 Map 新完成了。再去对应节点的 Shuffle Handler,默认端口13562,按分区号取数据。三:瓶颈在哪?磁盘 IO 和网络 IO。第一招,缓冲区调到256MB甚至512MB,减少溢写。第二招,开 Combiner,可结合的运算能少传50%到90%。第三招,开 Snappy 或 LZ4 压缩,用少量 CPU 换带宽。再合理设置 Reduce 数,热点 Key 用自定义 Partitioner 打散。几招组合,Shuffle 耗时能降30%到60%。
最后记住一句话:Map 端分区、排序、溢写、合并;Reduce 端拉取、归并、分组。Spark Shuffle 骨架相同,但不强制按 Key 排序,还能跳过排序,细节看第2期。