VIPSpark
Spark Hash Shuffle和Sort Shuffle有什么区别？小文件问题怎么解决
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
44 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Hash Shuffle和Sort Shuffle有什么区别？小文件问题怎么解决
这是 Spark Shuffle 里很爱被追问的一题。面试官不是想听你背“Hash Shuffle 会产生很多小文件，Sort Shuffle 文件少”，他想看的是：Hash Shuffle 为什么会文件爆炸，Sort Shuffle 是怎么把文件数降下来的，Bypass 和 Unsafe 又是什么，Shuffle 小文件问题到底发生在中间文件还是最终输出文件。如果你能把这几个点讲清楚，说明你不是只背了个结论。
评论
加载中...