SecondaryNameNode 的作用

名字带Secondary,却接不了班?

章节

  • 0:00 开场
  • 0:29 一句话回答
  • 0:51 痛点一 · 日志越来越长
  • 1:51 痛点二 · 合并抢资源
  • 2:34 痛点三 · 不等于高可用
  • 3:15 工作流程 · 三步
  • 5:06 Standby NameNode
  • 5:54 逐项对比
  • 6:41 易混角色
  • 7:28 补充一 · 触发条件
  • 8:19 补充二 · 是不是备份
  • 8:44 补充三 · 存储目录
  • 9:16 一棵决策树
  • 9:52 面试回答模板
  • 10:33 高频追问

文稿

开场

NameNode 一宕机,整个 HDFS 停摆;SecondaryNameNode 就在隔壁,却一个请求都接不住。很多人看到 Secondary,就把它当成第二个 NameNode,以为主节点挂了它会自动接管。这正是面试官最想抓的错误。面试官问:SecondaryNameNode 是备用 NameNode 吗?它到底有什么作用?这期按 Hadoop 3.3 讲清楚:它为什么存在,Checkpoint 怎么做,和 Standby 差在哪。

一句话回答

一句话回答:SecondaryNameNode 不是备用 NameNode,不能自动接管服务。它是非 HA 架构里的 Checkpoint 节点:定期下载 FsImage 和已滚动的 EditLog,在本地合并成新的 FsImage,再交回 NameNode。目的有两个:控制 EditLog 的规模,缩短 NameNode 的重启时间。

痛点一 · 日志越来越长

先看痛点一:只追加 EditLog,日志会越来越长。NameNode 管着 HDFS 的目录、文件、权限,还有文件和 Block 的对应关系。为了兼顾恢复速度和写入性能,它不会每次改动都重写完整的 FsImage。内存里维护最新的 Namespace;磁盘上的 FsImage,是某一时刻的全量快照;快照之后的每一次元数据变更,都追加写进 EditLog。重启时,先加载 FsImage,再逐条回放 EditLog,才能恢复出内存里的 Namespace。假设一次 Checkpoint 之后,业务每天产生 500 万次创建、删除和重命名。30 天都不合并,EditLog 就可能积累 1.5 亿条事务。NameNode 重启时要逐条回放这些日志,恢复时间会越拖越长。打个比方:FsImage 像上月结算后的账户余额,EditLog 像这个月的交易流水。流水一直不结算,下次恢复余额,就得从几千万笔交易开始重算。

痛点二 · 合并抢资源

痛点二:让 NameNode 自己频繁合并,会抢占核心资源。Checkpoint 不是把两个文件拼起来,而是先把 FsImage 加载进内存,再逐条回放 EditLog,得到最新的 Namespace,最后重新序列化成新的 FsImage。集群有上亿个文件和 Block 时,这个过程很吃内存、CPU 和磁盘 IO。可 NameNode 本身还要处理客户端请求、DataNode 心跳和 Block Report。SecondaryNameNode 的设计思路,就是把这份重活放到另一台机器上完成。NameNode 像正在营业的总账柜台,SecondaryNameNode 是后台结算员。结算员可以整理账本,但没有权限直接接替柜台营业。

痛点三 · 不等于高可用

痛点三:有一份 Checkpoint,不等于有一套高可用系统。SecondaryNameNode 上确实留着合并后的 FsImage,极端情况下能辅助人工恢复元数据。但它不处理客户端读写,内存里的 Namespace 也只停在上一次合并的位置;它没有 Active、Standby 的状态切换机制,NameNode 故障后,不会自动接管。判断一个节点是不是热备,不看它有没有副本,要看三件事:是否持续追平最新状态,能否自动切换,能否接收客户端请求。看名字以为它会接管,结果 HDFS 仍然不可用;它真正的身份,是 Checkpoint 节点。

工作流程 · 三步

核心来了:SecondaryNameNode 到底怎么工作?分三步。第一步,请求 NameNode 滚动 EditLog。NameNode 关闭当前正在写的 EditLog Segment,再开一个新的 Segment。旧日志从此不再变化,可以安全下载和合并;新的元数据操作,继续写进新日志。所以 Checkpoint 不需要 NameNode 长时间停机,客户端照样能创建文件、写数据。第二步,下载最新的 FsImage 和已关闭的 EditLog,在 SecondaryNameNode 本地合并。先把 FsImage 加载到内存,恢复快照时刻的 Namespace;再按事务顺序回放 EditLog,把状态推进到这次 Checkpoint 的位置;最后把合并后的内存状态,序列化成新的 FsImage。源码里还有个细节:本地已经有同一份 FsImage 时,就不重复下载,只拉新的 EditLog。正因为要装下完整的 Namespace,SecondaryNameNode 的内存通常要和 NameNode 在同一量级。所以它不能随便放在一台低配机器上。第三步,把新的 FsImage 上传给 NameNode,作为新的 Checkpoint。NameNode 保存之后,按保留策略,清理更旧的 FsImage 和已经纳入快照的 EditLog。Hadoop 3.3 默认保留最近两份 FsImage,再额外多留 100 万条事务的日志。下次重启,只需加载较新的 FsImage,再回放 Checkpoint 之后那一小段 EditLog。把整个过程连起来看一遍。请求 Checkpoint,滚动日志,下载镜像和旧日志,本地加载回放,写出新镜像,再上传回去。关键理解:合并发生在 SecondaryNameNode 的内存里;NameNode 只负责滚动日志、传输文件、接收结果,所以可以一直对外服务。

Standby NameNode

那真正能在 NameNode 故障后接管服务的是谁?是 HA 架构里的 Standby NameNode。非 HA 架构里,NameNode 周期性地把快照和日志交给 SecondaryNameNode,合并完再传回来。NameNode 一挂,没有谁能自动接管,只能人工恢复。HA 架构里,Active NameNode 把 EditLog 写进 JournalNode 集群,Standby 持续拉取并回放。准确地说,Standby 默认每 60 秒查一次新日志,参数是 dfs.ha.tail-edits.period。DataNode 同时向 Active 和 Standby 发心跳和 Block 汇报,Standby 手里的 Block 位置也是新的。Active 故障时,ZKFC 配合 ZooKeeper 发现故障并执行切换,Standby 升级成新的 Active。

逐项对比

逐项对比。所在架构:SecondaryNameNode 在非 HA 架构,Standby 在 HA 架构。元数据同步:一个周期性下载合并;一个持续从 JournalNode 回放,紧跟 Active。客户端请求:SecondaryNameNode 不处理;Standby 平时也不处理常规请求,切成 Active 才处理。故障转移:SecondaryNameNode 不能;Standby 可以配合 ZooKeeper 和 ZKFC 自动切换。Checkpoint:两者都做,HA 模式下通常由 Standby 承担。生产定位:一个解决日志合并,一个解决单点故障和元数据持续同步。一句话区分:SecondaryNameNode 是定期来结账的人,Standby 是实时跟账、随时能接班的人。

易混角色

官方文档里还有两个容易混的角色:Checkpoint Node 和 Backup Node。Checkpoint Node 做的事和 SecondaryNameNode 几乎一样:下载、本地合并、再上传。它用 hdfs namenode -checkpoint 启动,集群里可以配多个。Backup Node 更进一步:实时接收 NameNode 推来的日志流,内存里一直是最新的 Namespace。所以它做 Checkpoint 不用再下载文件,直接把内存存成新的 FsImage。但文档里,它只负责 Checkpoint 和命名空间备份,没有讲任何自动切换机制;而且一个 NameNode 同时只支持一个 Backup Node,用了它,就不能再注册 Checkpoint Node。官方 HA 文档写得很明确:HA 集群里 Standby 已经在做 Checkpoint,再部署这三种节点,属于错误配置。

补充一 · 触发条件

补充一:Checkpoint 什么时候触发?两个条件,满足任意一个就行。一是时间:距上次满 dfs.namenode.checkpoint.period,默认 3600 秒,也就是一小时。二是事务数:未合并事务达到 dfs.namenode.checkpoint.txns,默认 100 万条,时间没到也会提前触发。事务数怎么知道?它按 checkpoint.check.period 定时问 NameNode,默认每 60 秒一次。加载或回放出错会重试;连续失败超过 checkpoint.max-retries,默认 3 次,进程直接退出。需要手动做一次,可以执行 secondarynamenode -checkpoint force。默认值只是起点,要结合 Namespace 规模、元数据操作量、合并耗时和可接受的恢复时间来调。

补充二 · 是不是备份

补充二:Checkpoint 是不是备份?它会产生一份较新的 FsImage,确实有恢复价值;但它可能落后于最新事务,也没有自动接管能力。更准确的说法是:Checkpoint 的第一目标,是压缩元数据的恢复链路,而不是提供高可用。真正的高可用,要靠 Active、Standby、JournalNode、ZooKeeper、ZKFC 和 Fencing 一起完成。

补充三 · 存储目录

补充三:SecondaryNameNode 把文件存在哪?存在自己的 Checkpoint 目录,对应 dfs.namenode.checkpoint.dir 和 checkpoint.edits.dir。注意默认值:这个目录挂在 hadoop.tmp.dir 下面,而它默认是 /tmp/hadoop-用户名。/tmp 可能被系统清理,生产上要改到可靠磁盘,并做好监控。但有了这些文件,也不能省掉 NameNode 自身的多目录冗余和 HA。

一棵决策树

用一棵决策树收一下。问到 NameNode 的辅助节点,先看:它是否持续同步最新的 EditLog?否,只是周期性下载合并:那是 SecondaryNameNode,职责是 Checkpoint,不能自动接管。是,从 JournalNode 持续回放:再问能否切换为 Active。可以,就是 Standby NameNode,热备加 Checkpoint,配合 ZKFC 实现故障转移。再换个角度:如果问题只是 EditLog 太长,用 Checkpoint 生成新 FsImage 就够了;如果还要求自动接管,就需要完整的 HDFS HA 架构。

面试回答模板

面试怎么答?先给结论:不是。它不能在 NameNode 宕机后自动接管,本质是 Checkpoint 节点。第一,FsImage 存全量快照,EditLog 记增量,日志长期不合并,重启回放就越来越慢。第二,它请求滚动 EditLog,下载 FsImage 和已关闭的日志,本地回放后生成新 FsImage 再上传。第三,它只做周期性合并,不持续同步最新状态,也没有自动切换能力。真正的热备是 Standby NameNode,持续从 JournalNode 回放日志,并配合 ZKFC 接管。判断标准:能做 Checkpoint,不等于能做故障转移。

高频追问

再看五个常见追问。一:NameNode 挂了,能不能直接把 SecondaryNameNode 改成 NameNode?不能无缝接管。它没有持续维护最新的 Namespace,也没有 Active 切换能力。它的 Checkpoint 可以作为人工恢复的来源:准备新的 NameNode 和配置,再尽量补齐之后的 EditLog。如果镜像和日志全丢了,官方的办法是用 -importCheckpoint 导入最近一次 Checkpoint。要是最新日志已经丢失,这次 Checkpoint 之后的元数据变化,也可能找不回来。二:为什么 SecondaryNameNode 的内存不能配得太小?合并时要把完整 FsImage 加载进内存再回放;上亿个文件,这棵目录树可能占几十 GB。内存明显小于 NameNode,就容易频繁 GC 甚至 OOM,Checkpoint 长期失败,EditLog 又会持续增长。源码里,OOM 这类错误会让进程直接退出,所以要盯住它的存活和最近一次 Checkpoint 时间。三:Checkpoint 期间,NameNode 会停止服务吗?不会因为整个合并过程而停服。NameNode 只在滚动日志时短暂加一下写锁;下载、加载、回放、生成镜像,都在 SecondaryNameNode 上。日志滚动和文件传输会有一定开销,但客户端不需要等完整合并结束。四:HA 模式下还需要 SecondaryNameNode 吗?不需要。Standby 持续回放日志,同时承担 Checkpoint,既完成合并职责,又能切换成 Active。官方文档说,HA 集群里再跑 SecondaryNameNode 是错误配置,还会让运维边界变乱。五:Checkpoint 越频繁越好吗?不是。频繁合并能缩短 EditLog、减少重启回放,但下载、加载、回放和序列化,都在消耗网络、CPU、内存和磁盘 IO。间隔太长日志膨胀,太短浪费资源,要按事务增长速度、单次合并耗时和恢复时间目标一起定。记住一句话:SecondaryNameNode 是定期来结账的,Standby 才是随时能接班的。

看完去做题