NameNode 内存为什么会成为瓶颈?一个文件和 Block 占多少元数据
这道题考什么
这是HDFS小文件、容量规划和NameNode扩展性中最值得单独讲的一道题。很多人只会背“一个文件大约150字节,一个Block大约150字节”,然后拿文件数乘一下就结束了。这个数字在不同Hadoop版本、JVM对象布局和功能配置下可能差异很大。面试官真正想听的是:NameNode到底把哪些元数据放在堆内存里,文件数、Block数和副本数分别怎样影响内存,以及应该如何做可靠估算。
一句话回答
NameNode要在内存中维护整个命名空间、文件到Block的映射、Block到DataNode副本位置等状态,因此它的压力主要由INode数、Block数和副本位置数决定,而不是HDFS存了多少TB;“每项150B”只能作为旧式粗略经验,生产容量规划应使用当前版本实测的单位成本和安全余量。