分区裁剪为什么失效?怎么确认 SQL 真正做了裁剪?
这道题考什么
这道题考察的不是背出“加上分区条件”这一句,而是拿到一个具体任务后,能不能先锁定引擎、分区列类型和业务日期,再用执行计划、实际输入范围和结果核对定位问题。只看 SQL 里有没有 WHERE,或者只看 PushedFilters,都不足以证明分区真的少读了。
一句话思路
先还原 Spark SQL 3.5.x + Parquet 的实际 SQL 和日期口径,确认 dt 是否真是可用的分区列;再用 EXPLAIN FORMATTED 看 PartitionFilters 等计划谓词,最后用 Spark UI 或任务指标核对运行期实际选中的分区、候选文件和读取指标,并在保持晚到数据边界的前提下做等价修复和结果对账。