82 道Hadoop面试题。
Hadoop是一套面向海量数据的分布式基础设施:HDFS负责存数据,YARN负责分配集群资源,MapReduce负责把批处理逻辑拆成并行任务,Hadoop Common则提供它们共同依赖的基础库。…
HDFS的主从架构本质是:NameNode集中管理元数据,DataNode分散存储真实数据块,用一个"大脑"指挥一群"仓库",从而在廉价机器上实现海量文件的高吞吐存储。…
Hadoop 1.x解决了分布式存储和批处理从无到有的问题;2.x通过YARN、HDFS HA和Federation解决资源解耦、高可用与规模扩展;3.x在此基础上重点增强纠删码、资源调度和大集群治理,进一步降低存储成本并提升集群能力。…
Hadoop 提供以 HDFS、YARN 和 MapReduce 为代表的分布式存储与资源计算底座;Hive 在分布式文件之上提供表、分区、元数据和 SQL 数仓能力;HBase 在 HDFS 之上提供按 RowKey 的低延迟随机读写;S…
HDFS的设计目标是用廉价硬件存储海量大文件,为批处理提供高吞吐的顺序读写。它主动放弃了低延迟随机读写和小文件支持——这不是缺陷,是有意为之的取舍。…
Hadoop 2.x/3.x里HDFS Block默认大小通常是128MB(dfs.blocksize=134217728),它之所以远大于传统文件系统的4KB,是因为HDFS追求的是大文件顺序读写的高吞吐,不是低延迟随机访问。…
安全模式是NameNode启动后的一个只读保护期,在这个阶段HDFS不允许任何写操作,目的是等待DataNode汇报Block信息,确认数据完整性达标后再开放写入,防止在元数据还没拼齐的时候就让用户写数据导致混乱。…
HDFS上常用的文件格式分三类:行式(TextFile、SequenceFile、Avro)、列式(Parquet、ORC)、混合/索引(HFile、CarbonData)。大数据离线分析场景90%以上用Parquet或ORC——Spark…
HDFS默认副本数通常是3,配置项是dfs.replication=3;副本机制的核心作用是用多份Block副本来换取数据可靠性、读可用性、就近读取性能和故障自动恢复能力,本质是在可靠性、性能和存储成本之间做平衡。…
HDFS机架感知就是让NameNode知道每个DataNode属于哪个机架,并基于这个网络拓扑做副本放置;默认3副本常见策略是第一份尽量本地或同机架,第二份放到不同机架,第三份放到第二份所在机架的另一台机器,从而在容灾、读性能、写入网络成本…
HDFS的小文件问题本质是元数据膨胀——每个文件不管多小都要在NameNode内存中占约150字节元数据,100万个1KB的小文件和1个100GB的大文件占用的NameNode内存几乎一样,但前者的存储效率低到令人发指,把NameNode的…
HDFS支持的压缩格式分两类:可Split的(BZip2、LZO/LZ4+索引、Snappy+容器格式、ZSTD+容器格式)和不可Split的(Gzip、原生Snappy、原生LZO)。选型的核心只有一句话:用Parquet/ORC等容器格…
AM通过心跳式的allocate() RPC定期向RM拉取资源(Pull模式,默认每秒一次),请求中带有ResourceRequest列表指定优先级+节点偏好+资源量;RM分配Container后,AM直接联系NM(不经过RM)启动Cont…
HDFS 面向的是大文件顺序读写和高吞吐分析,文件被切成 Block 并保存多份副本;追加只需要继续维护文件尾部,而随机修改必须同时协调 Block 定位、副本一致性、校验和、并发读写与故障恢复,所以 HDFS 选择了单写者追加,不提供任意…
HDFS副本是把完整数据复制多份,用更多存储换简单读写和快速恢复;Erasure Coding把数据切成数据单元并计算校验单元,用更多CPU、网络和恢复复杂度换更低存储开销,因此副本更适合热点与写入敏感数据,EC更适合大文件、低频访问的温冷…
HDFS写文件的完整流程是:客户端向NameNode申请Lease并创建文件元数据 → NameNode返回Block副本位置列表 → 客户端和DataNode之间搭建Pipeline管道 → 数据按Packet为单位沿Pipeline逐级…
HDFS读文件的完整流程是:客户端向NameNode获取文件的Block列表和每个Block的DataNode位置(按距离排序) → 客户端依次读取每个Block,优先选择距离最近的DataNode → 数据按Packet/Chunk为单位…
Pipeline是HDFS写入时在客户端和多个DataNode之间搭建的链式数据管道,数据从客户端出发沿管道逐级转发(Client→DN1→DN2→DN3),每个DataNode边接收边落盘边转发(流水线并行),ACK从末端反向逐级传回,客…
客户端通过ACK超时检测到DataNode故障后,会关闭当前Pipeline,把未确认的Packet全部移回Data Queue,通知NameNode分配新的Generation Stamp(+1),让剩余DN截断Block到最后确认的位置…
客户端通过RPC调用NameNode的getBlockLocations()方法,传入文件路径+偏移量+长度,NameNode在内存中查找该文件的Block列表,把每个Block的所有副本所在DataNode的地址按网络距离从近到远排序后返…
HDFS采用机架感知副本放置策略:第1个副本放在客户端本机或同机架节点(数据本地性),第2个副本放在另一个机架的节点(容灾),第3个副本放在第2个副本所在机架的另一台节点(同机架传输快)。这种策略在写入效率和容灾能力之间取得了最佳平衡——只…
HDFS读流程中DataNode故障有两种情况:DN宕机/网络断开时客户端自动切换到同一Block的下一个副本从断点继续读;Checksum校验失败(数据损坏)时客户端向NameNode上报坏块,切换到其他副本重读,NameNode后台从好…
HDFS通过三道Checksum防线保证读取数据的准确性:写入时生成(每512字节数据计算一个CRC32校验和,随数据一起存储到DataNode)、读取时验证(客户端每读一个Chunk就重算CRC32和存储的比对,不一致则自动切换副本)、后…
HDFS通过写入端的Pipeline ACK机制保证多副本内容一致,通过Checksum校验保证读取时发现损坏,通过Lease机制保证同一时刻只有一个客户端写同一个文件,三者配合实现了"写入不丢、存储不烂、并发不乱"的数据一致性。…
HDFS通过四层嵌套的可靠性保障确保写入数据不丢不错:Checksum保证每个Chunk(512字节)没有比特翻转,Packet级ACK保证每64KB数据到达了所有DataNode,Pipeline链式确认保证客户端收到ACK时3副本一致写…
NameNode管理的元数据分三大类:Namespace(目录树)——文件/目录的名称、层级关系、权限、时间戳等;Block映射(BlocksMap)——每个文件由哪些Block组成,每个Block存在哪些DataNode上;DataNod…
FsImage是NameNode元数据的完整快照(某一时刻的全量备份),EditLog是每次元数据变更的增量操作日志(流水记录)。两者配合实现了元数据持久化:正常运行时只往EditLog追加写一条条操作记录(快),定期通过Checkpoin…
Block Report是DataNode向NameNode上报自己本地磁盘上存了哪些Block的机制。分全量Block Report(FBR,每6小时一次,上报所有Block)和增量Block Report(IBR,每次心跳捎带,只上报最…
DataNode故障时,NameNode通过心跳超时(默认10分30秒无心跳)发现DN失联,将其标记为Dead,然后扫描该DN上的所有Block,对副本数不足的Block加入副本复制队列,按照优先级(副本越少优先级越高)调度,通过心跳响应指…
DataNode启动时向NameNode发送注册RPC请求,上报自己的DatanodeID(IP、主机名、端口)、存储信息(磁盘ID、容量、类型)和软件版本号。NameNode验证版本兼容性和命名空间ID一致性后,将DN加入活跃节点列表。H…
DataNode每3秒向NameNode发送一次心跳(sendHeartbeat()RPC),上报在线状态、磁盘容量、负载信息;NameNode在心跳响应中下达指令(删Block、复制Block、重新注册等)。如果NameNode在10分3…
NameNode启动分4个阶段:加载FsImage(恢复Namespace快照)→ 回放EditLog(追赶到最新状态)→ 进入安全模式等待Block Report(DataNode上报Block位置,重建Block→DN映射)→ 退出安全…
NameNode的元数据同时存在磁盘和内存两个地方:磁盘上通过FsImage(全量快照)+ EditLog(增量日志)持久化Namespace和Block列表;内存中加载全量元数据用于快速响应客户端请求。其中Block→DataNode映射…
SecondaryNameNode 不是备用 NameNode,不能自动接管服务;它是非 HA 架构中的 Checkpoint 节点,定期下载 FsImage 和已滚动的 EditLog,在本地合并后生成新的 FsImage,再交回 Nam…
NameNode要在内存中维护整个命名空间、文件到Block的映射、Block到DataNode副本位置等状态,因此它的压力主要由INode数、Block数和副本位置数决定,而不是HDFS存了多少TB;“每项150B”只能作为旧式粗略经验,…
HDFS HA的核心组件有5个:Active NameNode(处理所有请求)、Standby NameNode(热备+做Checkpoint)、JournalNode集群(共享EditLog存储)、ZooKeeper集群(选主和健康监控)…
HDFS脑裂是指两个NameNode同时认为自己是Active并同时写入元数据,导致数据不一致。HDFS通过三层防护避免脑裂:第一层ZooKeeper选主保证同一时刻只授予一个Active锁;第二层Fencing隔离机制在故障转移时强制杀掉…
HDFS的Namespace就是NameNode维护的那棵文件目录树(包括目录层级、文件属性、每个文件由哪些Block组成等元数据),常驻在NameNode内存里。单个NameNode只有一个Namespace,内存和请求压力撑不住时,就用…
JournalNode是HDFS HA架构中的EditLog共享存储层,负责在Active和Standby NameNode之间安全地传递EditLog。Active NN把EditLog写入JN集群,Standby NN从JN集群拉取并回…
HDFS Federation 通过多个相互独立的 NameNode 和 Namespace分摊元数据容量与请求压力,解决的是扩展性和隔离性;HDFS HA 通过同一 Namespace 的 Active、Standby NameNode …
Balancer为了让DataNode之间的容量使用率更均匀;Mover为了让Block所在的SSD、DISK、ARCHIVE等介质满足Storage Policy;DataNode Decommission为了安全下线节点,在退出前把该节…
HDFS 删除通常不是把 DataNode 上的字节当场擦掉:开启 Trash 时,客户端先把文件移动到用户的 .Trash/Current,到期 checkpoint 被清理后 NameNode 才移除最终引用并异步通知 DataNode…
hdfs fsck 是面向 HDFS 命名空间和 Block 状态的检查工具,可以报告文件、Block、副本位置、低冗余、错误放置、损坏或缺失块等信息;它主要负责发现和定位,不会凭空修复已丢失的数据。只要还有健康副本,NameNode 通常…
MapReduce的核心设计思想是"分而治之":把一个大规模数据处理任务拆成无数个独立的小任务(Map)分散到数据所在的节点并行执行,然后把中间结果按Key汇聚到一起做聚合(Reduce),最终得到完整结果。其精髓是"移动计算到数据所在的节…
MapReduce的工作原理是:客户端提交作业给YARN → ResourceManager分配Container启动ApplicationMaster → AM向RM申请资源启动Map Task(每个Split一个) → Map Task…
Combiner是在Map端执行的本地预聚合操作,它在数据发送到网络之前对同一Key的数据做合并,核心作用是大幅减少Shuffle的网络传输量,但使用前提是运算必须满足交换律和结合律(如SUM/MAX/MIN可以,AVG/MEDIAN不行)…
Map-only作业就是把Reducer数量设为0,跳过Shuffle和Reduce阶段,只做Map不做汇总——适合ETL清洗、格式转换、数据过滤等不需要聚合的场景。MapReduce整体适合大规模离线批处理(日志分析、ETL、全表聚合),…
Mapper的默认输入是 <LongWritable偏移量, Text一行文本>,输出是自定义的 <K2, V2>;Reducer的输入不是简单的K2V2,而是 <K2, Iterable<V2>>——框架会自动把同一个Key的所有Valu…
MapReduce 1.x的最大问题是JobTracker既管资源又管作业,是单点瓶颈和单点故障。2.x通过引入YARN把资源管理(ResourceManager)和作业管理(ApplicationMaster)彻底分开——Resource…
InputFormat决定了数据怎么切片(Split)和怎么读取(RecordReader),选对InputFormat可以让MapReduce任务性能提升几倍到几十倍,尤其在小文件场景下,CombineTextInputFormat能把几…
高效的Top N方案是Map端用小顶堆维护局部Top N,Reduce端做一次全局归并,将Shuffle数据量从10亿条压缩到10万条级别。…
MapReduce的并行执行分三个层面:Map Task之间完全并行(每个处理一个独立Split)、Reduce Task之间完全并行(每个处理一个独立分区)、Map和Reduce之间半并行(Reduce的Copy阶段可以提前开始,但计算阶…
每个Reduce Task从每个Map Task拉取1份数据(属于自己分区的那部分),M个Map就收到M份数据,然后归并排序合并成1个有序数据流交给reduce()函数按Key分组处理;分区策略决定"哪个Key去哪个Reduce",默认Ha…
MapReduce至少对数据排了3次(Map溢写前快速排序、Map合并时归并排序、Reduce合并时归并排序),核心目的是让同一Key的数据天然相邻从而实现O(n)的分组,优化手段包括排索引不排数据、快排+归并组合使用、Combiner减量…
Mapper数量等于InputSplit的数量,Split大小默认等于Block大小(128MB),但每个文件至少产生1个Split——这就是小文件场景下Mapper数爆炸的根因。…
MapReduce作业由7大组件构成一条完整的数据加工流水线:InputFormat负责切分和读取 → Mapper负责逐条加工 → Combiner负责本地预聚合 → Partitioner负责分配去向 → Shuffle&Sort负责搬…
Block 是 HDFS 存储和副本管理的数据块,InputSplit 是 MapReduce 对输入数据的逻辑切片;默认情况下 Split 大小通常接近 Block 大小,但两者没有固定的一一对应关系,一个 Split 对应一个 Map …
Combiner 是 Map 端 Shuffle 过程中的可选本地预聚合,用来减少网络传输,框架不保证它一定执行或只执行一次;Reducer 是分区级的最终处理阶段,每个 Key 的全部中间结果最终要到同一个 Reducer。只有满足可结合…
InputFormat 负责规划输入并生成 InputSplit,同时为每个 Split 创建 RecordReader;InputSplit 只描述某个 Map Task 要处理的数据范围;RecordReader 把字节范围解析成一条条…
Shuffle是Map输出到Reduce输入之间的数据搬运和整理过程,横跨Map和Reduce两端:Map端做分区+排序+溢写+合并,Reduce端做拷贝+合并+排序,核心目标是让同一个Key的所有数据最终到达同一个Reduce并且有序排列…
Map端Shuffle的核心机制是:map()输出的KV先写入100MB环形缓冲区(左右两端分别存数据和索引),写到80%阈值时触发溢写——先按(Partition, Key)二级排序(快排),可选Combiner预聚合,然后写出包含数据文…
Reduce端Shuffle分为Copy→Merge→Reduce三个阶段:Reduce通过AM心跳获知已完成的Map列表,用5个并行线程通过HTTP从Map节点的Shuffle服务端口(默认13562)拉取属于自己分区的数据,先放内存缓冲…
Shuffle是MapReduce的性能瓶颈,因为它同时承受磁盘IO密集(Map端多次溢写+Reduce端落盘)、网络传输(全量中间数据跨节点搬运)、排序开销(至少3次全量排序)三重压力;优化思路就是减少数据量、减少IO次数、提高并行度。…
数据倾斜的本质是某些Key的数据量远超其他Key,导致大部分Reduce Task早早完成,少数Reduce Task处理了绝大多数数据而拖慢整个作业。解决思路按场景分:聚合倾斜用加盐两阶段MR,Join倾斜用Map Side Join,通…
MapReduce任务运行在JVM中,GC停顿(Stop-The-World)会直接导致Map/Reduce任务变慢甚至被NodeManager判定超时杀掉;优化核心是选对GC算法(G1GC替代CMS)、合理设置堆内存大小、以及在代码层面减…
MapReduce有3种Join方式:Reduce Side Join(通用但慢,所有数据要Shuffle)、Map Side Join(小表放内存,零Shuffle,最快)、Semi Join(先过滤再Join,折中方案)。优化核心就一句…
JVM重用通过让一个JVM进程连续执行多个Task来避免重复的启动开销,Hadoop 1.x用mapred.job.reuse.jvm.num.tasks配置,但在YARN时代已废弃,替代方案是Uber Mode。…
二次排序的核心是:把排序字段塞进Key里构成复合Key,然后用Partitioner保证分区、SortComparator保证排序、GroupingComparator保证分组——三个组件各管一件事,缺一个都不行。…
MapReduce的内存是三层嵌套结构:Container物理内存 > JVM堆内存 > 应用缓冲区。核心公式是 JVM堆 = Container内存 x 75%-80%,剩下的留给堆外开销。设太小OOM被kill,设太大浪费Contain…
MapReduce实现全局排序的标准方案是TotalOrderPartitioner + 采样:先对数据采样确定N-1个分区边界点,让每个Reducer负责一个不重叠的Key范围,Reduce内部天然有序 + Reduce之间范围有序 = …
MapReduce有三级容错:Task失败→在另一个节点重试(默认最多4次);NodeManager故障→RM检测到后让AM在存活节点上重新调度所有受影响的Task;AM崩溃→RM在另一个节点重启AM,已完成的Task不用重跑。三级容错层层…
数据本地化分三个级别:NODELOCAL(数据在本机磁盘,零网络传输,最快)、RACKLOCAL(数据在同机架另一台机器,走机架内网络,速度适中)、OFFSWITCH/ANY(数据在其他机架,走跨机架网络,最慢)。三者的性能差距可达20倍以…
推测执行是MapReduce针对拖后腿Task的容错优化机制——AM检测到某个Task比同类平均速度慢得多时,在另一个节点启动一个相同的备份Task,两个同时跑,谁先完成用谁的结果,另一个kill掉。但对于非幂等操作(如写数据库)必须关闭,…
Map输出压缩选Snappy(速度优先)减少Shuffle网络传输,Reduce输出压缩选Gzip(压缩率优先)节省HDFS存储;Reducer数量按每个Reducer处理128-256MB数据来设置,不需要跨Key聚合的作业直接跳过Red…
Reducer 太少会导致单个任务数据量过大、内存和执行时间压力集中;Reducer 太多会增加调度和 Shuffle 分片开销,并产生大量小文件。通常先根据 Shuffle 数据量估算,再结合单个 Reducer 的资源、并发槽位、任务时…
YARN是Hadoop生态的通用资源管理平台(操作系统级别),核心设计目标是把资源管理和作业调度彻底解耦——ResourceManager只管"集群有多少资源、分给谁",NodeManager只管"本机的资源和Container",Appl…
YARN作业会经历客户端申请ApplicationId并提交、RM接收和排队、调度第一个Container启动ApplicationMaster、AM注册并申请任务Container、NM启动和监控任务、AM汇总结果并注销、RM回收资源并记…
Capacity Scheduler是"预算制"——提前给每个队列划好资源比例,保证每个租户的最低资源,空闲时可以弹性借用但不抢占;Fair Scheduler是"平分制"——按权重动态均分资源给所有活跃作业,资源不够时可以抢占超额的队列,…
Container是YARN中资源分配的基本单位,每个Container封装了CPU+内存(甚至GPU)构成一个隔离执行环境;调度器负责决定Container怎么分——FIFO适合测试、Capacity适合多租户生产(Apache默认)、F…
YARN HA通过Active/Standby双ResourceManager + ZooKeeper选主 + StateStore状态持久化实现故障自动转移,脑裂防护靠ZK临时节点互斥 + Fencing隔离 + Epoch版本号三重机制…
RM 故障影响全局资源调度,依靠 RM HA 和状态恢复接管;AM 故障影响单个应用,RM 会启动新的 ApplicationAttempt;NM 故障影响该节点上的全部 Container,由 RM 和各 AM 重新调度;单个 Conta…
YARN 通常用 Capacity Scheduler 的层级队列给业务设置保底容量和最大容量,允许队列在集群空闲时弹性借用资源;当保底队列长期拿不到应有资源时,再由抢占策略分阶段回收超额 Container;而队列配额只是调度层的逻辑隔离…