Spark 读取小文件为什么慢？怎么治理小文件问题

先抓住题目的核心考点，再把答案拆成可复述的面试表达。

28 次浏览2026/7/9

先下定义一句话说清它是什么，面试官先听到结论。

再讲机制拆出关键流程、边界条件和常见坑位。

最后落场景结合生产经验，说出什么时候用、怎么权衡。

题目描述

请回答：Spark 读取小文件为什么慢？怎么治理小文件问题

小文件问题不是 Hive 独有，Spark 读小文件同样会慢。面试官问这题，通常不是想听“合并小文件”四个字，而是想看你是否理解：慢在哪里、任务为什么变多、Driver 为什么也会受影响、治理要在读和写两端一起做。