Hadoop 1.x、2.x 和 3.x 有什么区别
这道题考什么
这是一道考察Hadoop整体架构演进的高频题。很多人的回答只有两句:“2.x增加了YARN,3.x增加了纠删码。”方向没错,但太像背版本说明。面试官真正想听的是:1.x遇到了什么规模瓶颈,2.x为什么拆出YARN并补上HDFS高可用,3.x又为什么开始解决存储成本问题? 版本变化背后,其实是Hadoop从“能分布式运行”走向“能大规模稳定运行”,再走向“能更经济地运行”。
一句话回答
Hadoop 1.x解决了分布式存储和批处理从无到有的问题;2.x通过YARN、HDFS HA和Federation解决资源解耦、高可用与规模扩展;3.x在此基础上重点增强纠删码、资源调度和大集群治理,进一步降低存储成本并提升集群能力。