HDFS Balancer、Mover 和 DataNode Decommission 有什么区别
这道题考什么
这是HDFS扩容、冷热迁移和节点下线场景中很容易混淆的一道题。新加了20台DataNode,应该跑Mover还是Balancer?准备下线一台机器,能不能先跑Balancer再直接关机?把历史目录改成Cold策略后,为什么还要运行Mover?大部分人只知道它们都会“搬Block”,但面试官真正想听的是:为什么搬、搬到哪里、完成标准是什么,以及搬完之后节点是否还属于集群。
一句话回答
Balancer为了让DataNode之间的容量使用率更均匀;Mover为了让Block所在的SSD、DISK、ARCHIVE等介质满足Storage Policy;DataNode Decommission为了安全下线节点,在退出前把该节点上的有效Block副本补到其他节点。