Hadoop 是什么?HDFS、YARN 和 MapReduce 分别负责什么
这道题考什么
这是学习大数据时绕不开的第一道题,也是最容易被名词带偏的一道题。有人说“Hadoop就是HDFS”,有人把Hive、Spark也都算成Hadoop的内部组件,还有人只会背“HDFS负责存储,MapReduce负责计算”。这些回答不算完全错,但没有讲清楚最关键的一点:海量数据为什么需要把存储、资源管理和计算拆开,它们又是怎样共同完成一次任务的?
一句话回答
Hadoop是一套面向海量数据的分布式基础设施:HDFS负责存数据,YARN负责分配集群资源,MapReduce负责把批处理逻辑拆成并行任务,Hadoop Common则提供它们共同依赖的基础库。