87 道Spark面试题。
Spark快的本质是全方位减少IO:减少磁盘IO(内存计算)、减少无用IO(DAG优化)、减少启动IO(线程模型)、减少传输IO(Shuffle优化)、减少重复IO(Catalyst优化器)。…
RDD 是最底层、最灵活但优化器帮不上太多;DataFrame 是带 Schema 的结构化数据,能走 Catalyst 和 Tungsten;Dataset 在 DataFrame 基础上增加编译期类型安全,Scala/Java 更常用,…
Spark 懒执行是指 Transformation 只记录计算逻辑和 RDD 血缘,不立即执行;只有遇到 Action 才提交 Job 执行整条 DAG。这样 Spark 可以先看到完整计算链,再统一做 Stage 切分、流水线执行、优化…
RDD 的 Lineage 容错本质是记录数据从源头到当前 RDD 的计算链路,分区丢了就按链路重算;它的优点是低存储成本,局限是血缘太长、宽依赖多、外部副作用和非确定性计算会让恢复代价变高甚至结果不稳定,而 RDD 本身也缺少 Schem…
RDD是Spark最基本的计算抽象,具有分区、计算函数、依赖关系、分区器、首选位置5大特性;"弹性"体现在存储、容错、计算、分区、资源5个维度——核心是通过Lineage血缘链实现低成本容错。…
Driver是"项目经理"负责解析代码、调度任务、收集结果;Executor是"工人"负责执行任务、缓存数据。部署模式有Local、Standalone、YARN、K8s四种,生产上Hadoop环境选YARN、云原生环境选K8s。…
Transformation 是惰性转换算子,返回新的 RDD,不会立刻执行;Action 是触发执行算子,会启动 Job,把结果返回 Driver 或写到外部存储。面试时要按“窄依赖 Transformation、宽依赖 Transfor…
RDD 常见创建方式有并行化本地集合、读取外部存储、由已有 RDD 转换、从 DataFrame/Dataset 转换;Transformation 只负责生成新的 RDD 和 Lineage,不会真正执行,Action 才会触发 Job,…
reduceByKey 适合输入 Value 类型和输出 Value 类型一致的简单聚合,比如 sum/max/min;aggregateByKey 更灵活,可以指定初始值,并允许分区内聚合和分区间合并逻辑不同,适合均值、TopN、复杂状态…
cache() 本质是 persist() 的简写,默认使用内存级别缓存;persist() 可以指定缓存级别,比如 MEMORYONLY、MEMORYANDDISK、DISKONLY。缓存策略的核心是:只缓存会被多次复用且重算成本高的数据…
Spark Checkpoint 的核心作用是把 RDD 的计算结果写到可靠存储,并截断过长的 Lineage 血缘链;适合迭代计算、血缘链特别长、Shuffle 依赖复杂、失败重算成本很高的场景,通常会和 cache/persist 配合…
coalesce 适合减少分区,默认不 Shuffle,代价小但可能分区不均;repartition 适合增加分区或重新打散数据,本质是带 Shuffle 的重分区,代价大但更均匀。…
Spark distinct 的本质是把元素按自身作为 key 做全局去重,底层需要让相同数据落到同一个分区,因此通常会触发 Shuffle;它适合全局去重,但在数据量大、字段宽、重复率低或 key 倾斜时成本很高,应该先过滤、先裁剪字段、…
map 是一条输入变一条输出,输出结构会保留一层包装;flatMap 是一条输入可以变零条、一条或多条输出,并把结果拍平,适合切词、拆分数组、解析日志并过滤失败数据,但要注意它可能让数据量成倍膨胀。…
Map 端聚合是 Shuffle 前在每个分区内先做局部合并,Reduce 端聚合是 Shuffle 后把各分区的局部结果再做全局合并;reduceByKey 通常只有 一次 Shuffle,但会有“Map 端局部聚合 + Reduce 端…
map 和 foreach 是按元素处理,每条数据调用一次函数;mapPartitions 和 foreachPartition 是按分区处理,每个 Partition 调用一次函数,适合复用连接、批量写入、减少函数调用开销,但要注意 It…
reduceByKey 会在 Map 端先做局部聚合,再把聚合后的结果 Shuffle 到下游,所以网络和内存压力小;groupByKey 会把同一个 Key 的所有原始 Value 全量 Shuffle 后再分组,数据量大时非常容易慢和 …
sortByKey 用在 Pair RDD 上,直接按 key 排序;sortBy 更通用,可以从任意元素里提取排序字段,本质上也会转成 key-value 形式再排序。两者都适合全局排序场景,但都会带来 Shuffle 和排序开销;如果只…
广播变量是 Spark 提供的只读共享变量,Driver 把一份小而常用的数据高效分发到各个 Executor,并缓存在 Executor 本地,避免每个 Task 反复传输;适合小维表、规则字典、配置映射、机器学习模型参数等读多写少的数据…
Spark 累加器的本质是Executor 端只能追加更新、Driver 端统一汇总读取的分布式计数/统计工具,适合做异常数据计数、指标监控和调试统计,不适合参与核心业务逻辑,因为 Task 重试和重复执行可能带来重复累加。…
判断 Spark 是否触发 Shuffle,就看一句话:数据是否需要跨分区重新分布;凡是要让相同 Key 汇合、做全局聚合/排序/去重、改变分区数或分区规则的操作,大概率都会触发 Shuffle。…
窄依赖是父RDD的一个分区只流向子RDD的一个分区,可以在同一个Task里Pipeline执行不落盘;宽依赖是父RDD的一个分区流向子RDD的多个分区,必须经过Shuffle落盘,是Stage的分界线。区分宽窄依赖的本质目的是:尽可能多的操…
Spark 的执行层级是 Action 触发 Job,Job 根据 RDD 依赖形成 DAG,DAGScheduler 按 Shuffle 宽依赖把 DAG 切成多个 Stage,每个 Stage 再按照分区数生成一组 Task;Stage…
Spark 的 Task 调度机制,本质是 DAGScheduler 负责按 Shuffle 边界拆 Stage,TaskScheduler 负责把每个 Stage 的 TaskSet 按资源、本地性和失败策略派给 Executor 执行。…
Spark通过延迟计算先收集完整的计算链,再交给DAG引擎做全局优化和流水线执行,比MapReduce的"多Job串行落盘"模式快10-100倍。…
Spark Stage 主要分为 ShuffleMapStage 和 ResultStage:ShuffleMapStage 的任务是计算并写出 Shuffle 中间结果,ResultStage 的任务是计算最终 Action 需要的结果;…
Spark Stage 失败通常由 Task 多次失败超过上限、Shuffle FetchFailed、Executor 丢失导致 Shuffle 输出不可用 等触发;DAGScheduler 会根据失败原因决定重试当前 Stage,或重新…
Stage 失败后,Spark 通常会重新提交这个 Stage,并重新生成一批 TaskSet 来执行同一批分区,一般不会自动改变分区划分;如果是 FetchFailed,会先重跑上游 ShuffleMapStage 重新生成 Shuffl…
Spark Task 失败后,Executor 会把失败状态回报给 Driver,TaskScheduler 先按 spark.task.maxFailures 对单个 Task 做重试,通常换 Executor 重新跑;如果同一个 Tas…
Spark 的 FIFO 和 FAIR 是 一个 Spark Application 内部多个 Job/TaskSet 之间的调度策略;FIFO 默认按提交顺序执行,简单稳定但容易被大 Job 挡住,FAIR 通过调度池让多个 Job 相对…
Spark 任务调度和资源调度是两层协作:Spark 内部的 DAGScheduler/TaskScheduler 负责把 Job 切成 Stage 和 Task,并决定哪个 Task 派给哪个 Executor;YARN/K8s/Stan…
Spark 数据本地性的核心思想是把计算尽量调度到数据所在的位置,少走网络;常见级别从近到远是 PROCESSLOCAL、NODELOCAL、NOPREF、RACKLOCAL、ANY,本地性越高读数据越快,但 Spark 会通过延迟调度在“…
Spark 的执行关系可以概括为:同一个 Stage 内的多个 Task 可以并行执行,并行度受分区数和可用 slot 限制;有依赖关系的 Stage 通常要等父 Stage 完成后再跑子 Stage;Task 内部对一个分区的数据按算子链…
Shuffle Read 阶段是 下游 Reduce Task 先从 Driver 获取上游 Map 输出位置,再通过 BlockManager 从各个 Executor 拉取属于自己分区的数据块;它会按并发和大小限制分批拉取,网络拥堵通常…
定位 Shuffle Write 瓶颈要先看 Spark UI 的 Shuffle Write Size、Shuffle Write Time、Memory/Disk Spill、Task Duration 分布和 Executor 磁盘 …
Spark Shuffle 调优的顺序是:先减少 Shuffle 次数和数据量,再让分区更均匀,最后才调参数;核心手段包括提前过滤和列裁剪、Map 端预聚合、Broadcast Join、合理设置 Shuffle 分区、开启 AQE、压缩 …
Spark Shuffle 压缩的核心是 用少量 CPU 换更少的网络传输和磁盘 IO;通常开启 spark.shuffle.compress 和 spark.shuffle.spill.compress,codec 优先选 LZ4 或 S…
Spark Spill 是 当 Shuffle、排序、聚合等中间数据放不进执行内存时,把部分数据临时溢写到本地磁盘的保护机制;它能避免直接 OOM,但会带来额外磁盘 IO、排序归并和反序列化成本,优化优先级是减少单 Task 数据量、处理倾…
Spark Spill 文件合并的本质是 把多个已经按 Partition/Key 有序的临时文件,通过多路归并合并成更少的文件,最终生成 Shuffle 的 data 文件和 index 文件;Spill 太多说明单 Task 内存压力或…
Shuffle的本质是把数据按Key重新分配到不同的节点上,它慢是因为涉及磁盘IO + 网络传输 + 排序三重开销,是Spark任务中最昂贵的操作。…
Catalyst 的工作流程是:先把 SQL 解析成未解析逻辑计划,再通过 Analyzer 绑定表和字段,接着 Optimizer 用规则和代价改写逻辑计划,最后 Planner 选择物理算子,生成可执行计划。…
Broadcast Join 适合大表 Join 小表,它把小表广播到每个 Executor 本地做 Hash Join,避免大表 Shuffle;Shuffle Join 适合两边都比较大的表,它让两边按 Join Key 重分区后再匹配…
Catalyst 的物理计划生成是 SparkPlanner 把优化后的逻辑计划转换成一个或多个可执行物理算子方案,并根据策略、统计信息、Hint、配置和 AQE 选择最终执行计划。…
Hash Shuffle 的核心问题是 每个 Map Task 给每个 Reduce 分区写一个文件,文件数约等于 Map 数 × Reduce 数,容易造成小文件和随机 IO;Sort Shuffle 通过 每个 Map Task 只生成…
RBO 按固定规则改写计划,比如谓词下推、列裁剪;CBO 根据表大小、行数、列基数等统计信息估算不同计划成本,主要优化 Join 顺序和 Join 策略,两者在 Catalyst 里是互补关系。…
谓词下推是尽量少读行,列裁剪是尽量少读列;两者的核心都是把过滤条件和字段选择尽早推到 Scan 阶段,减少 IO、网络和后续计算。…
窗口函数适合“既要保留明细行,又要在分组内做排名、去重、累计、前后行对比、占比计算”的场景;GROUP BY 会把多行压成一行,窗口函数通常是在明细旁边补一列分析结果。…
Spark SQL的执行经历5个阶段:解析 → 分析 → 逻辑优化(Catalyst)→ 物理计划 → 代码生成(Tungsten)→ 执行。核心思想是不管你用SQL还是DataFrame API,最终都走同一条优化流水线,让机器帮你写出比…
Tungsten 是 Spark SQL 的底层执行优化体系,核心是用紧凑二进制格式替代大量 JVM 对象,用手动内存管理降低 GC,用 Whole-Stage CodeGen 把多个算子融合成生成代码执行。…
Spark DPP 是在 Join 查询中,运行时根据维表过滤结果动态生成分区过滤条件,从而让事实表少扫描无关分区的一种优化。…
Spark 读小文件慢,是因为小文件会放大元数据访问、文件打开成本、任务调度成本和 Shuffle 前的输入碎片;治理要从源头写入、存量合并、读取参数和表设计四个方向一起做。…
Spark 文件扫描分区主要由文件大小、文件可切分性、打开文件成本、maxPartitionBytes、文件数量和数据源格式共同决定,最终目标是在并行度和调度成本之间找平衡。…
Spark 写出文件数量主要由写出前分区数、动态分区列、每个 Task 写文件的方式、Shuffle 分区数和 maxRecordsPerFile决定,治理要按“目标文件大小 + 分区粒度 + 并行度”一起设计。…
Spark ANSI SQL 模式会把很多旧 SQL 中“悄悄返回 NULL 或截断”的行为变成直接报错,核心影响集中在非法类型转换、算术溢出、除零、日期解析、写表类型赋值和保留关键字上。…
Spark AQE 会在运行时根据 Shuffle 后的真实数据量和分区大小,动态做两类优化:小表变小就切换 Join 策略,分区倾斜就拆分倾斜分区,从而减少 Shuffle、排序和慢 Task 拖尾。…
Spark AQE 动态合并 Shuffle 分区,就是在 Shuffle 写完后根据真实分区大小把多个小分区合并成较大的读取分区,从而减少下游 Task 数量和调度开销。…
Spark AQE 的本质是:先按静态规则生成计划,运行到 Shuffle 边界后再根据真实数据量动态改计划,主要解决 Shuffle 分区不合理、Join 策略选错、数据倾斜这三类性能问题。…
Spark Join 策略的选择核心看三件事:Join 条件是不是等值、一边能不能安全广播、两边数据量和内存是否适合 Hash 或排序;生产中最常见是 BroadcastHashJoin 和 SortMergeJoin。…
看 Spark SQL 的 EXPLAIN,要按顺序抓四类信息:逻辑是否正确、优化是否生效、物理算子是否合理、Exchange/Join/Sort/AQE 节点是否有性能风险。…
Spark SQL 的统计信息和 CBO,本质是让优化器从“凭规则猜”变成“根据数据规模做选择”,核心价值是选对 Join 顺序、Join 策略和扫描范围。…
Spark 内存模型可以概括为:Executor 进程的总内存 = 堆内执行/存储内存 + 用户内存 + 预留内存 + 堆外/Overhead 内存,核心要理解 Execution 和 Storage 在统一内存区里如何动态借用、互相挤占、…
核心区别就一句话:Driver运行在哪里。Client模式的Driver运行在提交作业的客户端机器上(你的笔记本/网关机),Cluster模式的Driver运行在YARN集群内部的Container里。生产环境几乎都用Cluster模式——…
spark.executor.memory 管的是 Executor JVM 堆内内存,spark.executor.memoryOverhead 管的是 容器里除堆内以外的额外开销;在 YARN/K8s 上,真正申请的容器内存大致要按 e…
静态资源分配是作业启动前固定 Executor 数量和资源规格,稳定可控但容易浪费;动态资源分配是根据 Task 积压和 Executor 空闲情况自动增减 Executor,资源利用率高但依赖 Shuffle 保留机制,可能带来启动延迟、…
Spark 动态资源分配的核心是 ExecutorAllocationManager 根据待调度 Task、任务积压时间和 Executor 空闲时间自动申请或释放 Executor,让作业高峰期扩容、空闲期缩容;它适合多租户共享集群和负载…
Spark 内存调优先区分堆内内存、堆外内存和容器额外开销,再根据 OOM 位置判断是执行内存、存储内存、广播、Shuffle、Python/Netty 还是容器限制问题;不要只盲目加 executor-memory。…
Executor内存分堆内(On-Heap)和堆外(Off-Heap)两大区域;堆内分为Reserved、User、Storage、Execution四块;Spark 1.6+采用统一内存管理,Storage和Execution可以互相借用…
Spark 并行度的核心是同时能跑多少 Task 由 Executor 总 core 数决定,能生成多少 Task 由分区数决定;配置时要让分区数略大于总并发槽位,既避免资源空闲,也避免 Task 过碎,同时结合输入大小、Shuffle 数…
Spark 提交到 YARN 后,先由 ResourceManager 分配 ApplicationMaster 容器;Cluster 模式下 AM 里运行 Driver,Client 模式下 AM 主要负责申请 Executor;随后 A…
Executor Decommission 是 Executor 被移除前的优雅下线机制,它会尽量迁移或保护 Shuffle、缓存和运行状态,避免直接杀 Executor 导致FetchFailed、缓存丢失、大量重算和作业长尾。…
Spark on YARN 更适合传统 Hadoop 生态内的离线数仓,Spark on Kubernetes 更适合云原生、容器化和统一资源平台;两者核心差异在于资源管理器、运行单元、依赖分发、日志监控和运维方式。…
Spark Executor 心跳超时,是指 Driver 在失联阈值内没有收到某个 Executor 的有效心跳。spark.executor.heartbeatInterval 控制发送间隔,spark.network.timeout …
Spark OOM 排查的核心不是先加内存,而是先定位 OOM 发生在 Driver 还是 Executor、发生在 Shuffle 还是 Cache、是单个 Task 数据太大还是数据倾斜;解决时优先减少单任务数据量和错误写法,再调内存参…
看 Spark UI 要从 SQL Plan 定位算子、Stage 看 Task 分布、Executors 看资源和 GC、Shuffle 指标看网络与磁盘 四层串起来,核心是用“长尾 Task + 数据量差异 + Spill/GC/Shu…
多个 RDD Join 的优化核心是减少参与 Join 的数据量、减少 Shuffle 次数、让小表走广播、让大表复用分区器、先过滤裁剪再 Join,并重点处理热点 key 倾斜;如果是结构化数据,优先用 DataFrame/Spark S…
RDD 链式转换过长的核心问题是Lineage 太长、失败重算成本高、DAG 复杂难排查、重复计算和内存压力变大;解决思路是把长链路拆短:关键中间结果 persist 复用,长血缘用 checkpoint 截断,复杂逻辑拆成多个阶段,必要时…
Shuffle OOM 常见原因是 单个 Shuffle 分区过大、数据倾斜、groupByKey 保留明细、Join/聚合状态过大、Reduce 端拉取数据过猛、缓存挤占执行内存以及 memoryOverhead 不足;解决时先减少数据和…
Spark SQL 数据倾斜的典型表现是同一个 Stage 内少数 Task 运行时间、Shuffle Read、Spill、GC 远高于其他 Task;常见来源是 Join Key、Group By Key、Window 分区 Key 的…
Spark的容错体系分三层:Task失败自动重试、Stage失败重跑上游、RDD Partition丢失靠Lineage重算;高可用靠Driver HA + Master HA + Executor自动补充;OOM要分堆内、堆外、Shuff…
数据倾斜会让少数 partition 数据量远大于其他 partition,导致对应 Task 长时间运行、OOM 或反复重试;由于 Stage 必须等待所有 Task 完成,少数慢 Task 会拖住整个 Stage,进而阻塞下游 Stag…
广播 Join 能绕开 Shuffle Join 的按 key 重分区倾斜,但它不能消灭大表本身的热点数据;如果广播表不够小、热点 key 匹配结果爆炸、多个广播同时存在,风险会变成 Driver 构建广播压力、Executor 内存复制压…
随机 Key 双重聚合是给热点 Key 加随机盐先打散做局部聚合,再去盐做全局聚合;大表加盐扩容是给大表热点 Key 加随机盐,同时把小表对应 Key 复制多份补齐盐值,让原本集中到一个分区的数据拆到多个分区 Join。…
Spark 推测执行是为了缓解少数 Task 因机器、网络、GC 等偶发原因变慢导致整个 Stage 被拖住的问题:当某个 Task 明显慢于同 Stage 其他 Task 时,Spark 会在其他 Executor 上启动一个副本,谁先完…
Spark 作业卡住但不报错,排查顺序应该是:先看 Spark UI 判断卡在哪个 Stage,再看 Task 是否有进度、是否长尾、是否等待资源,然后结合 Executor 日志、GC、Shuffle、外部数据源和 Driver 状态定位…
Event Log 是 Spark 作业运行事件的持久化记录,History Server 会读取并回放这些事件,把已经结束的作业重新展示成 Spark UI,方便历史排障、性能对比和事故复盘。…
Spark Driver OOM 的本质是 Driver 承担了不该承担的“大对象”:大结果集、大广播变量、过多 Task/Stage 元数据、过大的执行计划或闭包;排查时先看 Driver 日志和 Spark UI,再看代码里有没有 co…
Spark 频繁 Full GC 的排查顺序是:先定位 Driver 还是 Executor,再确认是全局问题还是少数 Task 问题,然后从大分区、数据倾斜、缓存、Shuffle、单 Executor 并发和对象膨胀中找长期存活对象,最后…