VIPSpark
Spark 文件扫描分区是怎么决定的
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
25 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark 文件扫描分区是怎么决定的
这题看起来很细，但非常适合区分“会写 Spark SQL”和“真的调过 Spark SQL”。很多人以为一个 HDFS Block 就等于一个 Spark Task，或者一个文件就等于一个 Task，这都太粗了。面试官想听的是：Spark 怎么把文件规划成 FilePartition、哪些参数会影响 Task 数、为什么同样 1TB 数据任务数差很多。
评论
加载中...