分区裁剪为什么失效?怎么确认 SQL 真正做了裁剪?

这道题考什么

这道题考察的不是背出“加上分区条件”这一句,而是拿到一个具体任务后,能不能先锁定引擎、分区列类型和业务日期,再用执行计划、实际输入范围和结果核对定位问题。只看 SQL 里有没有 WHERE,或者只看 PushedFilters,都不足以证明分区真的少读了。

一句话思路

先还原 Spark SQL 3.5.x + Parquet 的实际 SQL 和日期口径,确认 dt 是否真是可用的分区列;再用 EXPLAIN FORMATTED 看 PartitionFilters 等计划谓词,最后用 Spark UI 或任务指标核对运行期实际选中的分区、候选文件和读取指标,并在保持晚到数据边界的前提下做等价修复和结果对账。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目