第一个Container跑谁?
面试官问你:YARN 作业从提交到完成,经历哪些步骤?你答:客户端提交给 RM,RM 分配资源,NM 执行。面试官追问:第一个 Container 里跑的是谁?AM 拿到 Container 后,联系谁?RM 会直接启动 Task 吗?作业完成后,谁来释放资源?大部分人到这就乱了。今天用动画,把 Client、RM、AM、NM 的接力,和状态从 NEW 到 FINISHED,一次串起来。
先给一句话答案:客户端申请 ApplicationId 并提交,RM 接收、排队;调度第一个 Container 启动 AM;AM 注册,再申请任务 Container;NM 启动并监控任务;AM 汇总结果、注销;RM 回收资源,记录最终状态。
先看全局:一次 YARN 应用,不是 RM 独自跑完的。Client 像项目发起人:准备应用、上传资源并提交,之后查询状态或终止应用。ResourceManager 像公司资源中心:接收应用、管理队列、分配 Container。ApplicationMaster 像项目经理,每个应用一个:负责任务编排、资源申请和失败处理。NodeManager 像办公室管理员,每台机器一个:负责资源本地化,启动和监控 Container。Container 就是分给项目组的工位和设备:CPU、内存的逻辑分配单位,也是进程的运行环境。
第 1 步:客户端调 createApplication,向 RM 申请 ApplicationId;RM 同时返回资源上下限。客户端据此准备 ApplicationSubmissionContext:ID、名称和类型,队列和优先级,启动 AM 的 CPU 和内存,启动命令、环境变量和本地化资源,还有安全 Token、最大 Attempt 次数。注意,拿到 ID 不等于开始执行,只是领了一张唯一的工单号。
第 2 步:把 JAR、配置和依赖传到 HDFS 暂存目录,再调 submitApplication,把上下文交给 RM。RM 的 ApplicationsManager 先做检查:有没有队列提交权限?AM 资源超没超上限?ApplicationId 是否有效、是否重复?队列、Node Label 和安全信息对不对?注意:返回提交成功,只代表请求被接受;不代表 AM 已经启动,更不代表作业在跑。
第 3 步:应用进入 ACCEPTED 状态。Scheduler 看队列容量、优先级、资源余量和 Node Label,分配第一个 Container。它不跑普通 Task,专门用来启动 AM:ApplicationsManager 和目标 NM 协作,把 AM 进程拉起来。AM 也要占 Container,因为它本身就是进程,要内存、CPU 和隔离环境,不能免费悬浮在 RM 里。队列没有可用容量,应用就一直停在 ACCEPTED。提交成功却迟迟不跑,先看这个状态。
第 4 步:NM 收到请求,先验证 Container Token,再创建用户、应用和 Container 的工作目录;从 HDFS 下载并缓存 JAR、配置等 LocalResource,准备环境变量、日志目录和启动脚本;再通过 ContainerExecutor 启动 AM 进程,持续监控进程、内存和 CPU,向 RM 上报状态。AM 启动后,向 RM 注册主机、RPC 端口和 Tracking URL。到这一步,应用才有了自己的控制中心。记住:RM 负责批准资源,NM 负责在机器上启动进程,不是 RM 远程执行所有命令。
第 5 步:AM 和框架相关。MapReduce 的 AM 按 InputSplit 创建 Map Task 和 Reduce Task;Spark 的 AM 协调 Driver 和 Executor;Flink on YARN 也有自己的组件和资源模型。AM 用 allocate 心跳向 RM 申请:每个多少内存和 vCore、要几个、优先级,节点、机架或 ANY 的本地性偏好,还有 Node Label 表达式。RM 不保证一次给齐:请求 10 个,这轮先给 3 个,就先跑 3 个 Task,下次 allocate 再要剩下 7 个。关键细节:AM 拿到 Container,直接联系对应 NM 启动任务,不用 RM 转发。RM 只管全局调度,AM 管应用内部执行,RM 就不会成为所有 Task 的集中瓶颈。
第 6 步:NM 启动任务 Container,和启动 AM 类似:验证 Token、本地化资源、建目录,再启动进程。运行期间,NM 监控进程和资源,通过心跳把节点和 Container 状态报给 RM;AM 追踪任务进度和结果。成功,就上报完成、清理资源;内存超限、节点丢失或进程异常,就上报退出码和诊断信息。是否重试、在哪重试,主要由 AM 所属的计算框架决定。
第 7 步:任务全部结束,AM 判定最终状态:全部成功是 SUCCEEDED,重试耗尽或关键失败是 FAILED,主动终止是 KILLED。然后调 finishApplicationMaster 向 RM 注销,提交最终状态、诊断信息和最终 Tracking URL。RM 更新状态,释放 AM 的 Container;NM 清理工作目录,按配置聚合日志。历史信息交给 Timeline Service、JobHistory Server,或框架自己的历史服务保存。
换个角度看状态。主路径是:NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED。界面上更常见的是后四个,再加上最终的 SUCCEEDED、FAILED、KILLED。NEW,RM 刚创建,内部还在初始化;SUBMITTED,可能卡在状态持久化、权限或队列校验;ACCEPTED,等待或正在启动 AM,常卡在队列资源不足、AM 资源过大、标签不匹配;RUNNING,AM 已注册,任务在申请资源、执行或重试;FINISHED,还要看最终状态判断成败。FAILED,多是 AM 重试耗尽、关键任务失败;KILLED,是被用户、管理员或策略终止。所以:ACCEPTED 卡住,先查队列和 AM Container;RUNNING 卡住,再查 AM、任务 Container、数据和框架日志。
RM、AM、NM 最容易混。作用范围:RM 管整个集群,AM 管单个应用,NM 管单台节点。职责:RM 接收应用、队列调度、分配 Container;AM 拆任务、申请资源、启动和监控任务;NM 本地化资源、启动和监控进程。只有 AM 理解所属框架的执行逻辑。普通 Task,RM 不启动;AM 向 NM 发起请求,NM 才实际启动。资源视角:RM 看全局 CPU、内存和队列,AM 看本应用还缺多少,NM 看本节点已用和剩余。数量:RM 集群级,通常配 HA;AM 每个 Attempt 一个;NM 每台工作节点一个。通信:RM 对接 Client、AM、NM;AM 对接 RM、NM 和框架客户端;NM 对接 RM、AM 和 Container 进程。
故障时流程怎么分叉?Task Container 失败:NM 上报退出状态,AM 按框架策略决定是否重新申请重试;RM 只负责分配新资源,不负责判断这个 Task 能不能跳过。AM 失败:RM 在最大 Attempt 次数内,分配新的 AM Container,启动新的 Attempt;能不能接着跑,取决于框架是否保存和恢复了状态,不能简单说 AM 一定无损恢复。NM 失败:RM 按心跳超时判定节点不可用,上面的 Container 视为丢失,各 AM 重新申请资源。HDFS 数据能不能读,是另一套存储容错机制。RM 失败:配了 YARN HA,Standby RM 接管;已运行的 Container 由 NM 管着,不会立刻全停,但新的资源申请要等 RM 恢复。四种都不是,就查网络、队列、Token 和业务逻辑。
作业迟迟不完成,从哪查?没提交成功,查客户端、RM 地址、认证和提交参数;卡在 ACCEPTED,查队列容量、AM 资源、标签和优先级;RUNNING,先看 AM 日志和 Tracking URL:没拿到任务 Container,查队列资源、本地性、标签和请求规格;拿到了,查 NM 日志、Container 退出码和业务 Task;已经结束,就看 FinalStatus 和 Diagnostics。
面试回答模板来了:分成提交、启动 AM、执行任务、收尾四段。提交:向 RM 申请 ApplicationId,JAR 和配置传到 HDFS,再提交带队列、AM 资源和启动命令的上下文。启动 AM:RM 校验后入队,Scheduler 先分配一个 Container,NM 本地化资源、启动 AM。执行:AM 注册、拆任务,allocate 分批申请 Container,直接找 NM 启动 Task;NM 监控进程,AM 管进度、重试和汇总。收尾:AM 调 finishApplicationMaster 上报最终状态,RM 释放资源,NM 清理目录、聚合日志。再补一句排查:ACCEPTED 卡住看 AM 资源和队列;RUNNING 卡住,看 AM 和 Task Container。
五个常见追问。一:RM 会直接启动所有 Task 吗?不会。RM 只做全局资源仲裁,Task 由 AM 请求 NM 启动。RM 不用跟踪框架内部的 Task 细节,MapReduce、Spark、Flink 才能共享同一个 YARN。二:为什么一直 ACCEPTED?通常是 RM 已经接收,但 AM 还没成功运行。可能是队列没容量、AM 的内存或 vCore 超上限、Node Label 不匹配,或队列 AM 资源比例受限、AM Container 反复启动失败。先看 Scheduler 页面、Application diagnostics 和 AM Container 日志,而不是直接查业务 Task。三:AM 挂了,之前的 Task 一定会继续吗?不一定。RM 能在 Attempt 次数内重启 AM,但已有 Container 怎么处理、状态怎么恢复,取决于提交参数和计算框架。YARN 能跨 Attempt 保留 Container,但框架必须能重新接管;没有框架级恢复,新 AM 可能重跑部分甚至全部任务。四:Application、ApplicationAttempt、Container 什么关系?Application 是用户提交的一次逻辑应用;每次启动 AM 是一个 Attempt,AM 失败重启就产生新的 Attempt;一个 Attempt 申请多个 Container 跑任务,第一个关键 Container 承载 AM 本身。分清三者,才看得懂 YARN 日志里的各种 ID 和重试边界。五:作业成功后,日志去哪了?运行时,先写在 NM 本地的 Container 日志目录;开启 Log Aggregation,NM 把日志聚合到 HDFS 等远端,节点清理后还能查;MapReduce 看 JobHistory Server,其他框架有各自的 History Server 或 Timeline 集成。所以,应用 FINISHED,不代表所有历史都由 RM 永久保存。
最后记住一句话:RM 批资源,AM 管任务,NM 起进程。