VIPSpark
Spark Shuffle数据压缩怎么配置？Snappy、LZ4、ZSTD怎么选
先抓住题目的核心考点，再把答案拆成可复述的面试表达。
29 次浏览2026/7/9
先下定义一句话说清它是什么，面试官先听到结论。
再讲机制拆出关键流程、边界条件和常见坑位。
最后落场景结合生产经验，说出什么时候用、怎么权衡。
题目描述
请回答：Spark Shuffle数据压缩怎么配置？Snappy、LZ4、ZSTD怎么选
这是 Spark Shuffle 调优里非常实用的一题。面试官不是想听你说“开启压缩能减少网络 IO”，他想看的是：Shuffle 哪些数据会被压缩、压缩是 CPU 换网络还是 CPU 换磁盘、spark.shuffle.compress 和 spark.shuffle.spill.compress 有什么区别、压缩算法怎么选，以及什么时候压缩反而收益不明显。很多人只背一个 Snappy，细问配置项就断片。
评论
加载中...