分区数几十万、元数据压力大,怎么处理?
这道题考什么
这道题考察的不是背“少建分区”这一句,而是能不能先把分区、文件、目录服务、查询规划和对象存储列举拆开,再用证据决定改粒度、并表、合并文件还是迁移。下面的数量、时间和阈值都是小点优选的教学示例,不能直接当作平台默认值。
一句话思路
先按分区数、文件数、单分区大小、Metastore / 目录服务延迟、查询规划耗时和对象存储 list 耗时拆分瓶颈,再锁定可改的分区键和查询口径,选择降粒度、冷热分表、列或 bucket 替代业务分区、合并小文件或分层迁移;迁移必须经过版本双读、校验、写入切换、并发保护、下游改造、回退和保留期清理,验收看查询结果、元数据延迟、文件分布和下游发布是否都达标。