Hive 压缩格式怎么选?Gzip、Snappy、LZO 和 ZSTD 有什么区别

这道题考什么

这是 Hive 存储优化中很容易答成“压缩率排行榜”的题。很多人会说 Gzip 压缩率高、Snappy 速度快,然后就结束了。但面试官继续问:为什么 .gz 文本文件可能只有一个 Mapper?ORC + Snappy 为什么还能并行读取?LZO 加索引解决了什么?ZSTD 压缩级别怎么选?真正的选型要同时看 压缩率、压缩/解压 CPU、可切分性、文件格式封装、读写频率、跨引擎兼容和运维成本。

一句话回答

Gzip 压缩率较高、兼容性好,但裸 Gzip 文本通常不可切分,适合交换或冷归档;Snappy 追求低 CPU 和高速解压,适合高频读写的 ORC/Parquet 热数据;LZO 速度快且可通过索引支持文本切分,但依赖原生库和索引维护,更多见于历史系统;ZSTD 在压缩率和速度之间更均衡,还能调压缩级别,适合现代湖仓和中冷数据。生产中应优先选择 ORC/Parquet 等可切分列式格式,再在其内部选 Snappy 或 ZSTD,而不是直接堆一个超大 .gz 文本文件。

注册就能看完这道题

新用户注册送 1 天会员,面试回答模板、图解、完整正文和常见追问都能看。

免费注册,领 1 天会员 已有账号,登录

相关题目