HDFS 副本和 Erasure Coding 有什么区别?冷数据怎么选
这道题考什么
这道题经常出现在Hadoop 3.x、HDFS存储成本和冷热分层的面试里。很多人只记得“三副本占空间,纠删码省空间”,却说不清纠删码为什么能恢复数据、RS-6-3到底代表什么,也说不清为什么不把整个集群全部改成EC。面试官真正想听的是:两种容错方式分别付出了什么成本,读写和恢复路径有什么差异,生产中应该怎样按数据温度选择。
一句话回答
HDFS副本是把完整数据复制多份,用更多存储换简单读写和快速恢复;Erasure Coding把数据切成数据单元并计算校验单元,用更多CPU、网络和恢复复杂度换更低存储开销,因此副本更适合热点与写入敏感数据,EC更适合大文件、低频访问的温冷数据。