Hive 压缩格式怎么选?Gzip、Snappy、LZO 和 ZSTD 有什么区别
这道题考什么
这是 Hive 存储优化中很容易答成“压缩率排行榜”的题。很多人会说 Gzip 压缩率高、Snappy 速度快,然后就结束了。但面试官继续问:为什么 .gz 文本文件可能只有一个 Mapper?ORC + Snappy 为什么还能并行读取?LZO 加索引解决了什么?ZSTD 压缩级别怎么选?真正的选型要同时看 压缩率、压缩/解压 CPU、可切分性、文件格式封装、读写频率、跨引擎兼容和运维成本。
一句话回答
Gzip 压缩率较高、兼容性好,但裸 Gzip 文本通常不可切分,适合交换或冷归档;Snappy 追求低 CPU 和高速解压,适合高频读写的 ORC/Parquet 热数据;LZO 速度快且可通过索引支持文本切分,但依赖原生库和索引维护,更多见于历史系统;ZSTD 在压缩率和速度之间更均衡,还能调压缩级别,适合现代湖仓和中冷数据。生产中应优先选择 ORC/Parquet 等可切分列式格式,再在其内部选 Snappy 或 ZSTD,而不是直接堆一个超大 .gz 文本文件。