NameNode 内存为什么会成为瓶颈?一个文件和 Block 占多少元数据

这道题考什么

这是HDFS小文件、容量规划和NameNode扩展性中最值得单独讲的一道题。很多人只会背“一个文件大约150字节,一个Block大约150字节”,然后拿文件数乘一下就结束了。这个数字在不同Hadoop版本、JVM对象布局和功能配置下可能差异很大。面试官真正想听的是:NameNode到底把哪些元数据放在堆内存里,文件数、Block数和副本数分别怎样影响内存,以及应该如何做可靠估算。

一句话回答

NameNode要在内存中维护整个命名空间、文件到Block的映射、Block到DataNode副本位置等状态,因此它的压力主要由INode数、Block数和副本位置数决定,而不是HDFS存了多少TB;“每项150B”只能作为旧式粗略经验,生产容量规划应使用当前版本实测的单位成本和安全余量。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目