Hadoop、Hive、HBase、Spark 和 Flink 在生态中是什么关系
这道题考什么
这是大数据零基础面试里非常适合用来判断“知识有没有连起来”的一道题。很多人能分别背出五个组件的定义,但放在一张架构图里就开始混乱:Hive 和 HBase 都叫表,为什么一个适合数仓、一个适合在线查询?Spark 比 MapReduce 快,是不是就可以不要 Hadoop?Flink 能做批处理,是不是又能替代 Spark?面试官真正想听的不是五段百科,而是:它们分别位于存储、资源、元数据、批处理、流处理和在线服务的哪一层,谁可以依赖谁,哪些是互补关系,哪些场景才存在选择关系。
一句话回答
Hadoop 提供以 HDFS、YARN 和 MapReduce 为代表的分布式存储与资源计算底座;Hive 在分布式文件之上提供表、分区、元数据和 SQL 数仓能力;HBase 在 HDFS 之上提供按 RowKey 的低延迟随机读写;Spark 是擅长批处理、SQL 和迭代计算的通用计算引擎;Flink 是以有状态流处理为核心、兼顾有界批数据的计算引擎。它们不是同一层产品,实际架构里通常组合使用。