存储快满一周内腾空间,怎么安全处理?

这道题考什么

这道题要看容量证据、删除边界、业务连续性和回退能力。只回答“删临时表、压缩文件、迁到对象存储”,还没有说明谁批准、删什么、删完如何确认空间真的回来。

一句话思路

先确认物理容量、增长速度和真实占用构成,再按“可重建且不影响读取”的风险顺序止血,随后把冷数据迁到有清单和校验的存储,最后分批回收并验收下游;每一批都保留负责人、审批、恢复窗口和回退路径。

面试回答模板

面试官:存储快满了,要求一周内腾出空间,你会怎么处理?

你:我不会先按大小删表。第一步是确认 HDFS 和对象存储各自的物理容量、近 7 天增长速度,以及活跃数据、快照、回收站、临时产物、重复副本和未完成上传分别占多少。教学示例里 HDFS 已用 70.2 TB,但这个数字必须能和 DataNode、目录、快照及回收站的统计对上。

你:第二步是建立删除清单。每个对象要有 owner、审批、来源、版本、保留截止日、重建入口和下游读取情况,还要检查活跃任务、写入租约、未完成提交和快照保护。源数据、未完成提交、活跃快照、下游仍读取的分区,以及没有可靠回放依据的唯一副本都不能直接删。

你:第三步按风险排序止血。先处理确认没有活跃引用的临时产物、过期中间结果和已完成迁移的冷数据。删除先进入 tombstone、回收站或可恢复窗口,分批执行;每批检查逻辑不可见、引用解除和物理空间下降,处理删除延迟和结果未知,不能把删除 API 成功当成空间已经释放。

你:第四步做稳定迁移和最终验收。冷数据复制到批准的目标存储后,校验分区、主键摘要、字段统计、gmv 汇总、权限和下游版本,再切换读取路由。最后验证日报、看板、导出和回退路径。任意批次出现写入冲突、校验失败、下游异常或超时,就停止后续删除,恢复最后一个已验收版本,并升级平台、数据和业务负责人。

面试官:一周后你怎么避免它再次发生?

你:给表和路径补 owner、保留策略、重建入口和版本保护,持续监控物理容量、文件数、快照、回收站、对象版本、未完成上传和增长速度。删除操作必须有清单、审批、写保护、分批 manifest 和批后验收;对冷数据做分层迁移,对临时产物设置生命周期,同时保留失败恢复所需的输入和 tombstone。

还原场景

小点优选的数据平台同时使用 HDFS 和对象存储。11 月 17 日 09:00,监控发现 HDFS 集群接近容量上限,对象存储的业务配额也在快速上涨。团队要求在 11 月 24 日前完成空间治理,期间不能影响订单明细、店铺日报和已经发布的看板。

以下容量、增长速度和时间均为教学示例,用来演示判断过程,不是通用阈值。HDFS 的总容量为 78 TB,已用 70.2 TB;近 7 天平均每天增长 1.8 TB。对象存储配额为 120 TB,已用 111.6 TB;近 7 天平均每天增长 2.1 TB。两套系统的指标口径不同,不能直接把两个“已用”相加当成物理占用。

对象 用途 处理边界
ods_trade_order_di 订单变更明细,按接收日分区 源数据和仍需回放的分区不能直接删
dwd_trade_order_detail_di 订单明细标准层,含 gmv 已发布分区要保留版本和下游读取凭据
dws_trade_shop_trade_1d 店铺粒度的日汇总 仍被日报、看板和导出读取的分区不能直接迁移或删除
ads_trade_dashboard_1d 看板发布结果 发布版本、缓存和导出任务要一起检查
临时路径 重跑、失败任务和中间文件 只有确认没有活跃写入、没有恢复依赖后才能清理

本例在 11 月 17 日 12:00 前先完成容量确认。HDFS 物理占用 70.2 TB 的教学拆分如下:活跃数据 43.0 TB,活跃快照 11.5 TB,回收站 6.2 TB,临时产物 4.0 TB,重复副本 3.5 TB,元数据和副本管理开销 2.0 TB。这个拆分只用于示范调查方法,实际数字必须从存储系统、表目录和任务平台交叉确认。

读图:容量告警只说明“余量变少”,不说明“哪些对象可以删”。先把逻辑大小、物理副本、快照、回收站和临时文件分开,后续每个动作才有对应证据。

本例有两个时间约束。11 月 24 日是空间治理完成期限;每日 06:30 是订单日报的发布时间,必须保住。若 11 月 23 日 22:00 仍没有完成稳定迁移和回收验证,就停止扩大删除范围,升级平台负责人和业务负责人,优先保证日报交付。

先判断:这是什么问题

这同时包含容量告警、增长速度异常、对象保留治理和删除执行风险。先区分它们,避免把“快满”直接翻译成“删大表”。

要判断的情况 需要看什么证据 误判后的后果
物理容量真的接近上限 HDFS dfsadmin -report、DataNode 磁盘、对象存储配额和计费口径 只看表目录大小,漏掉副本、快照或回收站
增长是持续趋势还是一次性峰值 近 7 天和近 30 天容量曲线、写入任务、文件数和单日增量 把活动峰值当成长期问题,误删仍在使用的数据
空间由什么组成 目录清单、文件年龄、快照、回收站、未完成 multipart upload、临时路径 只按目录大小排序,碰到活跃分区或回退版本
删除是否安全 owner、任务实例、写入租约、下游读取、保留期、快照引用 删除后任务继续写入,或日报读到缺失版本
删除后空间何时释放 HDFS 回收站、快照引用、对象存储删除标记和生命周期规则 删除 API 成功但物理空间没有立即下降,继续误删

HDFS 类系统通常同时存在“逻辑文件被删除”和“物理块可回收”两个时间点。文件还在快照或回收站引用中时,磁盘占用可能不变。对象存储还可能有版本、删除标记、未完成 multipart upload 和生命周期延迟。清单里的“已删除”必须区分请求已提交、目录不可见、引用已解除、物理占用已下降四种状态。

并发写入也要单独判断。任务页面显示成功,不能证明目录没有晚到写入;一个正在重跑的任务可能还持有临时路径,一个发布任务可能已经读取旧版本但尚未完成发布。要查执行实例、租约或 fencing 标记、输出提交记录和下游消费版本。没有写保护时,不执行不可逆删除。

下图给出删除边界的判断顺序。它把“能否重建”和“是否还被读取”分开,两个条件都通过才进入候选清单。

读图:源数据、未完成提交、活跃快照、仍有下游读取的分区,以及没有重建依据的唯一副本,都停在保留路径。临时文件也要先证明没有活跃任务引用,不能因为路径名带 tmp 就当作垃圾。

处理步骤

步骤 1:确认容量、增长速度和真实占用

先建立一张 11 月 17 日 12:00 的容量快照。HDFS 记录总容量、已用、剩余、DataNode 分布、块副本和 inode;对象存储记录配额、逻辑对象大小、版本、删除标记、未完成 multipart upload 和生命周期规则。再把目录、表分区、快照、回收站和临时路径按 owner 聚合,形成“物理占用 → 逻辑对象 → 任务和下游”的映射。

本例要重点核对两个数。HDFS 的 70.2 TB 是否与各 DataNode 的物理统计相符,对象存储的 111.6 TB 是否包含历史版本和未完成上传。近 7 天每天增长 1.8 TB 和 2.1 TB 只是示例,趋势要由同一口径的历史快照计算,不能拿某一天的写入量代替长期增长。

容量准入从告警时点 11 月 17 日 09:00 起算,12:00 盘点时还要扣除期间新增写入。若没有扩配、减写和已兑现回收,HDFS 剩余 7.8 TB,按 1.8 TB / 天约 4.33 天后满,即 11 月 21 日 17:00;对象存储剩余 8.4 TB,按 2.1 TB / 天约 4 天后满,即 11 月 21 日 09:00。它们都是恒定增长假设下的上界估算,突发写入或迁入会让时间提前,不能等到满载再申请容量。

为两端分别设定安全余量 S、扩配或减写生效耗时 L,并填写批次预算。任一时刻都要求“当前剩余 F − 业务增长 g × 经过天数 − 迁移新增占用 P + 已兑现净释放 N ≥ S”。P 包含目标正式副本、复制暂存、重试副本和新增保留副本的同时在盘峰值;源端已有副本继续计入原占用,不能提前扣除。每批 N = 实际物理回收量 − 该端新增的保留副本占用;快照或回收站仍引用的部分不算已回收,未到回收延迟上界的预计释放不能抵扣下一批峰值。源端保留哪些版本、目标端保留多久,以及回收延迟的上界都要由 owner 确认;不能确认就按窗口内不释放预算。

例如仅为演示倒排,设 HDFS 安全余量为 2 TB、对象存储为 3 TB,L 均为 24 小时。不计迁移和回收时,分别约在 11 月 20 日 14:20、11 月 19 日 22:43 触及安全余量,最晚应在 11 月 19 日 14:20、11 月 18 日 22:43 启动扩配或减写;本例把较早的行动门禁收紧为 11 月 18 日 22:00。若有迁移峰值还要继续提前。这里的安全余量和耗时同样是教学假设,实际用更保守的增长上界和平台确认的生效时间重算,不能把申请提交当作容量已生效。

怎么验证:容量系统、目录清单和表目录的时间点一致;Top 目录能追到表、快照或任务;两端预算覆盖增长、复制峰值、回收延迟、保留副本与安全余量,最晚行动时点有负责人。目录大小不能单独证明物理空间已释放,删除 API 成功也不能单独证明容量下降。

通过 / 失败 / 超时去向:两套系统都有可解释的容量构成后进入步骤 2;统计口径冲突、指标延迟或出现未知大目录,冻结删除动作,找平台 owner 补齐证据;到 11 月 17 日 18:00 仍无法拆分时,先申请临时容量或暂停非核心重跑,不能凭目录名操作。

步骤 2:冻结风险,建立 owner、审批和删除清单

对每个候选对象记录路径或表名、分区、版本、逻辑大小、物理占用、最后写入、最后读取、来源、重建命令、保留截止日、owner、下游、快照引用和预计释放路径。由数据 owner 确认业务用途,平台 owner 确认存储行为,任务 owner 确认没有活跃写入,下游 owner 确认不会读到缺失版本,发布负责人批准批次范围。

先把对象分成四类:可立即清理的已失败临时产物;过保留期且能重建的中间结果;已经通过内容、版本和 owner 比对的重复副本;必须继续保留的源数据、活跃快照、未完成提交、下游仍读取的分区和唯一历史。分类结果写入删除清单,清单一旦审批就固定对象集合,执行中不根据“看起来还很大”临时加项。

并发保护要落到机制上。删除前检查任务实例和写入租约;需要迁移的目录先禁止旧任务写入,或者使用存储平台提供的 generation / lease / fencing 令牌。写入保护失效、提交状态未知或发现新的 owner 时,批次立即暂停。

怎么验证:每个候选对象都有 owner、审批号、保留截止日、恢复入口和下游确认;清单中的路径、表分区和版本可以在存储目录及任务平台反查;活跃快照、回收站和未完成提交没有被误列。

通过 / 失败 / 超时去向:清单和审批齐全后进入步骤 3;发现 owner 不明、回退版本没有保护引用或存在活跃写入,保留对象并升级;审批超过 11 月 18 日 12:00,先只执行已批准的临时产物批次,不扩大删除范围。

步骤 3:先清理可重建临时产物,完成第一轮止血

第一轮只处理最容易恢复、最少影响业务的对象:失败任务的临时目录、超时未提交的 staging 文件、重复生成且已被正式版本替代的中间结果。每个对象先查任务结束状态、提交记录、输入版本和下游读取;确认没有活跃任务和回退引用后,写入 tombstone 或回收站,保留可恢复窗口。

不能直接删除 ods_trade_order_di 的源分区,不能删除仍被 dws_trade_shop_trade_1d 读取的活跃分区,不能删除用于回退的快照,也不能因为 dwd_trade_order_detail_di 的旧分区很大就一次性清掉。重复副本只有在内容摘要、输入版本和下游引用都一致时才可列入后续批次;文件名相似不算重复证据。

下面的 SQL 只用于展示如何筛选候选中间结果,字段和表名是教学示例,未在真实 Hive / Spark 引擎执行。不同平台的元数据表、快照接口和删除语法需要按实际环境改写。这里使用 gmv 只作为业务字段示例,不据此决定删除资格。

-- 静态示例:找超过保留日、没有下游引用的中间结果候选
-- 仅作教学示例,未在真实 Hive / Spark 引擎执行。
SELECT path,
       owner_id,
       input_version,
       gmv,
       last_write_time,
       retain_until
FROM meta_intermediate_result
WHERE layer = 'DWD'
  AND status = 'COMMITTED'
  AND retain_until < '2026-11-18'
  AND downstream_ref_count = 0
  AND active_writer_count = 0;

这里的 downstream_ref_count = 0 只能作为候选条件,不能代替业务 owner 确认。没有审计记录的低频读取、人工导出和失败恢复入口,可能不会出现在自动统计里。

怎么验证:每批删除前后记录对象数、逻辑大小、物理占用、回收站大小、快照引用和告警状态;确认 tombstone 已写入,恢复窗口仍可用;容量曲线出现预期变化后再进入下一批。删除请求成功但物理占用不变,要先判断是否被回收站、快照或异步回收延迟解释。

通过 / 失败 / 超时去向:止血批次释放出示例目标中的余量,并且日报和活跃任务没有异常,进入步骤 4;出现任务写入冲突、下游读取失败或释放量与清单差异过大,停止该批并按 tombstone / 快照恢复;删除或回收超过平台规定的观察时间仍无状态,保留对象,不重复提交删除请求,升级存储 owner。

步骤 4:把冷数据迁到有校验的稳定位置

止血只能争取时间。一周内要完成稳定迁移,把已经完成、低频读取、超过热存储保留期但仍需保留的数据迁到对象存储的冷层或其他批准位置。迁移先复制到不可变目标路径,再用清单校验文件数、字节数、分区集合、主键摘要、gmv 汇总和权限;校验通过后,才更新读取路由和保留策略。

本例优先迁移已经完成的 dwd_trade_order_detail_di 历史分区和对应 dws_trade_shop_trade_1d 低频分区。ods_trade_order_di 仍承担回放时,保留源分区或经批准的等价不可变副本;不能只迁下游汇总而删除无法重建的源事件。对跨存储的迁移,记录源版本、目标路径、校验摘要、权限、生命周期、owner 和恢复入口。

每批复制前重算步骤 1 的两端预算,按复制、校验、源副本保留、引用解除和物理回收的时间逐段检查。比如某批目标正式副本 2 TB、暂存峰值 0.5 TB、持续 1 天,则还需预留业务增长 2.1 TB 和安全余量 3 TB,共需 7.6 TB;11 月 17 日 09:00 的 8.4 TB 只是当时可能容纳,若到 11 月 19 日 09:00 未止血,余量只剩 4.2 TB,这批就不能迁入。源端若该批有 3 TB 可实际回收、又新增 1 TB 本地恢复副本,则净释放仅 2 TB,且必须等快照、回收站和异步回收完成后才兑现;若原源副本仍整批保留,当前净释放就是 0。示例批次数字不代表已批准清单,实际用 manifest 的物理口径核算。

对象存储切到同一配额下的冷层通常不增加可用配额,不能当成新容量。若任一时段预算不足,或目标配额、保留副本、回收耗时未知,先扩配到足以覆盖峰值和安全余量,或减写并验证新增长率,再批准迁移;可缩小批次,但不能用未兑现的源端释放抵扣目标端占用。每批结束用实测余量更新预算。

迁移期间要保护并发写入。对正在生成的分区继续写入原位置,等它进入完成状态后再纳入迁移批次;如果必须切换路径,先冻结写入、确认未完成提交已处理,再切换读写路由。下游发布不能只看表目录可读,还要确认看板、导出和日报使用的是同一个已验收版本。

怎么验证:源和目标的分区集合、主键摘要、字段统计、gmv 汇总和读取权限通过;用目标位置重放一次小范围查询,确认结果和耗时满足业务约束;旧路径没有新增写入,读取路由和下游发布清单都指向正确版本。

通过 / 失败 / 超时去向:两端容量准入通过、迁移批次完成并通过校验后,进入步骤 5;文件缺失、摘要不一致、权限错误或读路由未更新,保留源数据,确认目标副本无引用后再清理重试;预算不足立即停迁,按步骤 1 的最晚时点提前扩配或减写。11 月 21 日 18:00 只是已取得足够容量后的关键分区迁移检查点,未完成则停止扩大范围并把非核心数据排到下一窗口,不能等到此时才首次申请容量。

步骤 5:按清单分批回收,处理删除延迟和回退

分批顺序按照风险从低到高推进:已确认的临时产物、过保留期的中间结果、已完成迁移且保留源副本的冷数据,最后才考虑重复副本。每批限定对象数、逻辑大小和 owner,执行前再次检查写保护、快照引用、下游读取和发布状态。

执行动作要保留可恢复窗口。HDFS 类系统先进入回收站或写入删除标记,等观察窗口结束后再做物理回收;对象存储要区分删除对象、删除标记、历史版本和未完成 multipart upload。快照未解除引用时,物理空间可能继续被占用;因此不能用“目录已经看不到”代替“空间已经回收”。

若平台支持按批次提交,就为每批生成 manifest,保存执行时间、操作者、请求 ID、对象版本、状态和预计释放空间。遇到结果未知,先查询请求状态、实际版本和回收任务;不能因为客户端超时就重试删除,也不能把未知状态当成失败后再换一批继续删。

怎么验证:批次状态分别记录“请求已提交、逻辑不可见、引用已解除、物理空间下降、下游读取通过”;容量、inode / 文件数、对象版本数和回收站曲线与清单趋势一致;每批结束后重新检查日报、看板和导出任务。

通过 / 失败 / 超时去向:批次释放量、业务读取和回退检查都通过,才能进入下一批;释放量异常、出现误删或下游读错版本,立即停止后续批次,用 tombstone、保留快照或目标副本恢复;回收任务超过 11 月 23 日 18:00 仍未完成,保留未执行清单,升级平台 owner,不以扩大删除范围补偿异步延迟。

步骤 6:验收发布,关闭窗口并保留长期治理入口

空间下降不是最终验收。完成最后一批后,重新确认 HDFS 和对象存储的余量、增长速度、快照与回收站状态、活跃写入、任务成功率、日报 SLA 和下游结果。抽取一个已经迁移的业务日,从目标位置读取 dwd_trade_order_detail_di,汇总到 dws_trade_shop_trade_1d,再对比 ads_trade_dashboard_1d 的发布版本,确认分区、行数、主键和 gmv 结果没有因为回收或路由切换改变。

回退测试至少覆盖三种情况:目标读取失败时切回源路径;目标版本校验不一致时丢弃目标批次并保留源版本;删除请求状态未知时按请求 ID 查询并阻止重复提交。恢复成功要有实际读取证据,不能只看任务状态变绿。

若错误版本已经被消费,恢复数据入口还不够。按发布版本、业务日和消费记录定位受影响的日报、ads_trade_dashboard_1d 看板、缓存键与导出批次,先暂停刷新、订阅和文件分发,标记旧结果失效。由数据 owner 用最后已验收版本补跑或发布更正版本,对比分区、主键和 gmv 后,刷新缓存并重新生成导出,撤回或替换旧文件。无法撤回的已下载结果要通知接收方更正,并取得业务 owner 和消费者确认;仍有未确认对象时继续跟踪并升级,不关闭事件。恢复演练至少验证一条“错误发布 → 暂停传播 → 补跑更正 → 缓存与导出更新 → 通知确认”的完整链路,记录新旧发布版本及确认凭据。

怎么验证:容量和增长曲线回到可观察区间;关键表的读取、任务、发布和导出通过;删除清单、manifest、审批、tombstone、快照保护和回退记录完整归档;没有出现仍在写入的旧路径和未知 owner。

通过 / 失败 / 超时去向:全部验收通过后关闭本次窗口,并把长期治理项移交到步骤负责人;任何关键表结果不一致、日报延迟或回退失败,都恢复最后一个已验收版本,暂停清理,并升级到平台、数据和业务负责人共同决策。

事后预防

容量治理要从“告警后找大目录”变成持续的对象管理。小点优选可以为每个数据域设置 owner、保留策略、来源、重建入口、下游清单和版本保护记录。ods_trade_order_di 这类源数据保留期限由回放和合规要求决定;dwd_trade_order_detail_di 的中间分区按下游与补数周期保留;dws_trade_shop_trade_1d 和 ads_trade_dashboard_1d 的发布版本按日报回退窗口保留。规则写到目录或表的元数据中,不能只放在口头约定里。

监控至少分四层:物理容量与 inode、逻辑对象和文件数、快照 / 回收站 / 版本 / 未完成上传、任务写入与下游读取。告警要同时展示当前占用、近 7 天增长、预计可用天数、Top owner、可回收候选和仍被引用对象。容量指标与目录盘点出现差异时,告警升级为“口径异常”,不自动触发删除。

发布平台要加删除门禁:删除清单必须有审批和 owner;候选对象必须通过写保护、保留期、快照引用和下游读取检查;执行按 manifest 分批;每批结束后才能继续;物理回收未完成时不得把释放量记入预算。对对象存储保留版本和删除标记的生命周期规则,对 HDFS 维护快照、回收站和副本策略的定期审计。

长期减少增长可以从三处入手:合并小文件,避免失败重跑留下大量临时文件;为重复副本建立内容摘要和来源版本;把低频冷数据迁到合适的存储层,并用真实读取审计决定热数据保留。压缩、分区和文件格式优化要以读写性能、恢复成本和下游兼容为约束,不能为了空间指标直接改表结构。

每周生成一次“容量—对象—任务—下游”对账。一个对象从产生到过期要能找到 owner、保留截止日、回收动作和恢复记录;发现无 owner、无来源或无回放入口的对象,先进入治理队列,不在容量告警时临时删除。

完整处理流程图

下面这张图把一周内的主路径和异常路径放在一起:先取证,再建清单,先止血,再迁移,最后分批回收和验收。菱形节点才表示判断;虚线表示失败、超时或回退路径。

读图:上半段到“稳定迁移”结束。下一张图从同名节点继续,保留迁移失败、物理释放失败和业务验收失败的回退路径。

读图:下半段把“删除成功”和“空间真的回来”分开,也把存储验收和日报、看板、导出验收分开;两类验收都通过后才能关闭窗口。

本例按以下节奏推进:11 月 17 日完成容量取证和清单,11 月 18 日先清理已确认临时产物,11 月 19~21 日做冷数据迁移和分区校验,11 月 22~23 日分批回收并观察物理空间,11 月 24 日前完成日报、看板和导出验收。日期是教学示例,实际要按剩余容量、回收延迟和业务窗口倒排。

常见追问

为什么不能直接删最大的表?

大表可能是源数据、活跃快照或下游仍在读取的版本。大小只说明占用,不说明可删除。要先看来源、写入状态、读取审计、保留期、快照引用和重建依据;没有这些证据,删除风险大于空间收益。

文件删除成功了,为什么容量没有下降?

可能仍被 HDFS 快照或回收站引用,也可能对象存储只是新增了删除标记,历史版本和未完成 multipart upload 还在。要查删除请求、引用关系、回收任务和物理指标,并区分逻辑不可见与物理回收完成。结果未知时不重复提交删除。

迁移到对象存储后,什么时候可以删 HDFS 源数据?

至少要满足目标文件和分区完整,主键、字段统计、gmv 汇总和权限通过,读路由已切换,下游发布使用目标版本,源端没有新增写入,且回退窗口和恢复测试已经通过。若源数据仍是唯一回放依据,就继续保留,不能只因为目标能读就删除源端。

删除过程中发现有任务正在写入怎么办?

立即停止该对象所在批次,保留现状,查任务实例、输出提交记录和写入租约。能用 generation / lease / fencing 拒绝旧实例提交的,先完成写保护再重新生成清单;没有写保护的,先排空或终止任务,确认提交状态后再决定迁移或回收。不能边删除边赌任务不会写回来。

一周内空间还是不够怎么办?

先按剩余容量和业务优先级分级:保住订单源数据、日报和已发布版本,暂停非核心重跑、低优先级回填和大规模临时导出;扩大临时容量或申请存储配额,迁移低频数据,缩小本次删除范围。把“无法在窗口内完成”的证据、缺口容量、预计释放时间和回退方案交给平台与业务负责人升级,不用一次性删除高风险数据换取短期数字。

相关题目