HDFS 副本和 Erasure Coding 有什么区别?冷数据怎么选

这道题考什么

这道题经常出现在Hadoop 3.x、HDFS存储成本和冷热分层的面试里。很多人只记得“三副本占空间,纠删码省空间”,却说不清纠删码为什么能恢复数据、RS-6-3到底代表什么,也说不清为什么不把整个集群全部改成EC。面试官真正想听的是:两种容错方式分别付出了什么成本,读写和恢复路径有什么差异,生产中应该怎样按数据温度选择。

一句话回答

HDFS副本是把完整数据复制多份,用更多存储换简单读写和快速恢复;Erasure Coding把数据切成数据单元并计算校验单元,用更多CPU、网络和恢复复杂度换更低存储开销,因此副本更适合热点与写入敏感数据,EC更适合大文件、低频访问的温冷数据。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目