HDFS 写文件流程

数据走NameNode吗?

章节

  • 0:00 开场
  • 0:23 一句话回答
  • 0:38 全景 · 10 步
  • 0:48 第 1 步 · create()
  • 1:03 第 2 步 · NameNode 开门
  • 1:29 第 3 步 · addBlock
  • 1:56 第 4 步 · 搭 Pipeline
  • 2:19 第 5 步 · Packet 转发
  • 3:01 第 6 步 · ACK 回传
  • 3:18 第 7–8 步 · 换 Block
  • 3:43 第 9–10 步 · 收尾提交
  • 4:06 完整时序图
  • 4:19 延伸 ① · DataNode 挂了
  • 4:47 延伸 ② · 客户端挂了
  • 5:08 延伸 ③ · NameNode 不碰数据
  • 5:27 高频追问
  • 6:22 面试回答模板

文稿

开场

面试官问你:详细说说 HDFS 写文件的流程。你答:客户端找 NameNode 要 DataNode,然后写数据。面试官追问:Lease 怎么申请?Packet 怎么拆?ACK 怎么回来?大部分人就卡在这里。今天用动画,把 HDFS 写流程讲透。

一句话回答

先给一句话答案:向 NameNode 申请 Lease、创建文件,拿到 Block 的副本位置;搭起 Pipeline,数据按 Packet 逐级转发,ACK 反向确认;Block 写满就申请下一个,写完关闭文件、释放 Lease。

全景 · 10 步

全景一共 10 步:前 3 步找 NameNode,中间 3 步传数据,后 4 步换块和收尾。

第 1 步 · create()

第 1 步:客户端调 create,先创建 DFSOutputStream,再向 NameNode 发 RPC。返回后,文件在目录树里就已经存在了:长度为 0、没有 Block,但 ls 能看到。

第 2 步 · NameNode 开门

第 2 步:NameNode 先查权限,再查同名文件是否已存在;然后创建 INode 记下文件属性,Block 列表为空;再写 EditLog 持久化。最后授予 Lease,保证同一时刻只有一个客户端能写。软限制 60 秒,到期可被抢占;硬限制 1 小时,到期强制回收。就像酒店入住:查证件、确认有空房、登记,再发房卡。

第 3 步 · addBlock

第 3 步:客户端调 addBlock 问:往哪写?NameNode 分配 Block ID 和 Generation Stamp 版本号,再按机架感知选 3 个 DataNode:第 1 副本放客户端本机,不在集群就挑负载低的;第 2 副本放另一个机架,防整架断电;第 3 副本和第 2 副本同机架,传得快。NameNode 只给列表,不碰数据:它是调度员,不是搬运工。

第 4 步 · 搭 Pipeline

第 4 步:搭 Pipeline。客户端连 DN1,请求里带上 Block ID、版本号和下游 DN2、DN3;DN1 连 DN2,只带 DN3;DN2 连 DN3,列表为空。DN3 是末端,ACK 再逐级回到客户端,管道就通了。就像接水管:全部接好、人人回报 OK,才开始灌水。

第 5 步 · Packet 转发

第 5 步:数据先三级拆分。Block 128MB,是存储单元;Packet 64KB,是传输单元,ACK 按它确认;Chunk 是 512 字节加 4 字节 CRC32,是校验单元。客户端有两个队列:write 的数据拆成 Packet,进 Data Queue;DataStreamer 线程发出后,把它移进 ACK Queue;ResponseProcessor 收到 ACK 再移除,超时就触发故障恢复。不用发一个等一个,这就是异步流水线,吞吐大幅提升。而每个 DataNode,都是边收、边存、边转发。

第 6 步 · ACK 回传

第 6 步:ACK 从 DN3 经 DN2、DN1 回到客户端,Packet 移出 ACK Queue;全部确认,Block 就写完了。收到 ACK,等于 3 个副本都已写入。不是发出去就算,而是全部确认才算。

第 7–8 步 · 换 Block

第 7 步:Block 写满 128MB,发出 Last Packet,等 ACK 到齐,通知 NameNode 这块写完;DataNode 也各自发 Block Report。第 8 步:再调 addBlock 申请新块,NameNode 按负载重选,DataNode 可能换一批。重复搭管道、发 Packet、收 ACK;最后一块,可能不满 128MB。

第 9–10 步 · 收尾提交

第 9 步:调 close,剩余数据刷进最后一个 Packet,再发空的 Last Packet,等 ACK Queue 清空,然后发 complete。第 10 步:NameNode 确认每个 Block 都达到最小副本数,默认是 1;文件从 UNDER_CONSTRUCTION 改成 COMPLETE,释放 Lease,写 EditLog,写入完成。

完整时序图

放进时序图看:客户端和 NameNode 只有几次 RPC,数据和 ACK 全在 DataNode 之间流动;第 2 个 Block 可能换成 DN4 到 DN6。

延伸 ① · DataNode 挂了

面试官可能延伸问:写到一半,Pipeline 里的 DN2 挂了怎么办?ACK 超时,客户端关掉 Pipeline,把未确认的 Packet 移回 Data Queue,再让 NameNode 把 Generation Stamp 加 1;DN1、DN3 截断到最后确认的位置,重建 Pipeline 继续写;写完后,后台补齐第 3 个副本。加 1,是为了 DN2 回来时带着旧版本号,会被认出是过期副本,直接删掉。

延伸 ② · 客户端挂了

如果是客户端自己挂了,就不再续约 Lease。60 秒后别人可以接管,1 小时后 NameNode 强制回收,触发 Lease Recovery 和 Block Recovery:选一台 Primary 收集副本长度,全部截断到最短,标记 COMPLETE。取最短,是因为只有这一段,所有副本都确认写过。

延伸 ③ · NameNode 不碰数据

NameNode 为什么不碰数据?一是带宽:10 个客户端各写 100MB 每秒,它就得扛 1GB 每秒;直传后,它只处理几 KB 的 RPC。二是关注点分离:NameNode 管文件在哪,DataNode 管数据怎么存,故障也互相隔离。

高频追问

再来看四个高频追问。一:为什么用 Pipeline,不直接发 3 份?客户端只需 1 倍上行带宽,链式 ACK 还天然保证 3 个副本都成功。二:Packet 为什么 64KB?太小,ACK 开销大;太大,重传代价高。高带宽网络可调到 128KB、256KB。三:Block 为什么 128MB?要让寻址时间占比低于 1%:寻址 10 毫秒、速率 100MB 每秒,块就得大于 100MB。SSD 时代可调到 256MB 甚至 512MB,但太大会降低并行度、加大重试代价。四:写的时候能读吗?已完成的 Block 能读,最后一块里没刷出去的数据读不到。要读最新数据,写端调 hflush 刷到 DataNode 的系统缓存,或 hsync 刷到磁盘。HBase 的 WAL 就靠它。

面试回答模板

最后,面试回答模板来了:分 4 个阶段。准备:create 建 INode、写 EditLog、发 Lease;addBlock 按机架感知选 3 个 DataNode。写入:搭 Pipeline,数据拆成 64KB 的 Packet,边收边存边转发,双队列异步确认。循环:写满 128MB 再 addBlock;收尾:close,等 ACK 清空,发 complete,释放 Lease。记住一句话:NameNode 只管元数据,数据从不经过它。

看完去做题