同一条SQL,12块变2块?
同一条 SQL,一份文件读了 12 个数据块,另一份只读了 2 块。差别不在 Parquet 和 ORC 谁更高级,而在能不能少读数据。Parquet 和 ORC 有什么区别?只答都是列式存储,面试官不会满意。他想听的是:文件内部怎么切,怎么跳过数据,项目里怎么选格式。很多人只会背 Parquet 更通用、ORC 更适合 Hive,却说不出为什么。
一句话回答:Parquet 和 ORC 都是列式文件格式。Parquet 更通用,跨引擎兼容最广;ORC 出身 Hive,默认写出的索引和统计更细。选型看你更在意通用流转,还是 Hive 体系里的深度优化。
先看列式为什么有价值:订单明细表有 100 列,报表只查其中 5 列。行式存储把一整行连续存放,想要 5 列,也得把整行一起读出来。列式存储把每一列单独连续存放,只读需要的那 5 列就够了。所以行式适合点查整行记录,列式适合只看几列的分析扫描。类比一下:行式像把一桌菜按桌打包,列式像把同一道菜集中装箱。你只想吃一道菜的时候,后者明显更省事。列式好用靠三件事:列裁剪只读需要的列,谓词下推先跳过无关数据块,同类数据放一起更容易压缩。
再看 Parquet 长什么样:文件,往下是 Row Group,再到 Column Chunk,再到 Page。Row Group 是横向切块,把一批行放在一起。组内每一列单独存成一个 Column Chunk,只读某一列时,只碰这一段。Column Chunk 再切成 Page,它是更细的编码和压缩单元。schema,以及每个 Row Group 每一列的位置和 min、max 统计,都写在文件尾部的 Footer 里。文件最后 8 个字节,是 Footer 的长度和魔数 PAR1。所以引擎先读文件尾,再决定前面哪些数据块要读,哪些可以跳过。这就是自描述:不靠外部元数据,文件自己就说清了结构。嵌套字段,Parquet 用 Dremel 的定义级别和重复级别来编码,复杂结构也能按列存。
ORC 的组织方式不同:文件先切成一个个 Stripe,默认 64MB 左右。每个 Stripe 里有三块:Index Data、Row Data 和 Stripe Footer。Row Data 是真正的数据,每一列又拆成多个 Stream,比如空值标记、数据、长度、字典。Index Data 默认每 1 万行记一条索引,存这一段的 min、max 和读取位置。注意,ORC 把这 1 万行叫作 row group,和 Parquet 的 Row Group 同名,粒度却完全不同。文件尾还有三段:Stripe 统计、存 schema 和文件统计的 File Footer,最后是不压缩的 Postscript。所以 ORC 一样是自描述的,读取时同样从文件尾往前读。统计信息分文件、Stripe、行组三级,默认就写;Bloom Filter 也能加,但要建表时指定列才会生成。可以把 Parquet 理解成通用型列式文件,ORC 是 Hive 生态里做了更多查询优化的列式文件。
核心论证第一条,也是最重要的选型逻辑:Parquet 更通用,ORC 更偏 Hive 体系。定位上,Parquet 是通用列式格式,ORC 是 Hive 优化型列式格式。内部组织,一个是 Row Group、Column Chunk、Page,一个是 Stripe、Stream、Index。元数据,Parquet 集中在 Footer;ORC 是 Stripe 统计加文件 Footer。跳数据,两者都有列裁剪和谓词下推,ORC 默认的行组索引更细。生态上,Parquet 跨引擎更强,常见于 Spark、Trino 和湖仓表格式;ORC 在 Hive 数仓、老数仓和 Hive 深度优化场景里更强。一句话结论:要广度,优先 Parquet;要 Hive 深度优化,ORC 很有竞争力。
第二条:真正决定查询快慢的,是能不能跳过不该读的数据。不管 Parquet 还是 ORC,分析查询都不是从头读到尾,而是先读元数据,再做列裁剪,只选需要的列;再用谓词下推,过滤掉不可能匹配的数据块,最后只读少量数据块,解码再聚合。比如这条 SQL:统计 7 月 14 号广东省的销售额。它真正要读的,只有 amount、dt、province 三列,其余 97 列都不碰。再看统计信息:这个 Row Group 的 dt 最大值是 7 月 10 号,比条件还早,整块直接跳过。注意,min、max 只能用来排除;条件值落在范围内,这一块还是得读。Bloom Filter 也一样,只能回答一定没有,或者可能有。所以列式文件的价值,不是存得更花哨,而是读得更少。
第三条:压缩率不是唯一指标,兼容性和演进能力也很重要。很多人一上来就问哪个压缩率更高,不是不能问,而是不该只看这个。数据要喂给多个引擎,Parquet 往往更省心。核心查询都在 Hive 里,ORC 的索引和统计更容易吃满;Hive 的全 ACID 事务表也只支持 ORC。表未来要进湖仓,Parquet 往往是更常见的底层格式。真正的选型,不是谁更高级,而是谁更适合你的执行引擎和使用方式。
补充几个常被追问的概念。第一,Row Group 和 Stripe,都是横向切块。列内存储,Parquet 叫 Column Chunk,ORC 是每列的一组 Stream。再往细,Parquet 有 Page,ORC 有每 1 万行一条的行组索引。两者不完全对等:Page 是编码和压缩单元,行组索引管的是统计和定位。本质都在做一件事:把大文件切成可跳过、可并行、可压缩的小块。
第二,列式文件为什么压缩率通常更高?同一列类型相近,重复值多,编码更好优化。比如 province 列反复出现广东、江苏、浙江,字典编码后只存小整数编号。连续相同的编号,再用 RLE 记成值加重复次数,又省一截。换成按行混存,相邻的是订单号、时间、数值,就很难这样压。
第三,小文件是两种格式的共同敌人。文件一多,每个文件都要单独打开、读一次 Footer,元数据开销暴涨。任务调度也跟着变多,查询自然变慢。再好的列式格式,切成一堆小文件也会难看;格式是加分项,文件治理才是基本功。
第四,两种格式都支持 Snappy、ZSTD、LZ4 这类通用压缩算法。默认值随版本和引擎变化:ORC 库从 2.0 起默认 ZSTD,以前是 ZLIB;Spark 写 Parquet,默认是 Snappy。所以谁压缩率一定更高,没有定论,要在同一份数据、同一种压缩算法下实测。而且选型别只盯压缩,真正影响查询体验的,通常是跳过了多少无关数据,不是压缩包少了几个 MB。
第五,湖仓表底层为什么更常见 Parquet?因为它跨引擎兼容强:Spark 默认数据源是 Parquet,Iceberg 默认也写 Parquet,Delta 只用 Parquet。但这不是独占:Iceberg 和 Hudi 也能用 ORC,Spark、Trino 也都能读写 ORC。顺带纠正一个误区:Hive 建表默认格式是 TextFile,不是 ORC,要显式写 STORED AS ORC。数据要在多个计算引擎之间流转时,Parquet 通常更稳。
把选型串成一棵决策树。第一问:主要在 Hive 体系里用吗?是,优先考虑 ORC,索引和统计更贴 Hive。不是,再问:要不要跨引擎流转,或者做湖仓?要,就优先 Parquet。都不是,最后看你更看重 Hive 查询的跳过能力,还是统一生态:前者 ORC,后者 Parquet。无论走哪条路,上线前都用自己的数据和引擎压测一遍。
面试怎么答?可以这样说:两者都是列式文件格式,核心区别在定位和生态。Parquet 更通用,适合在 Spark、Trino、Iceberg 这些引擎之间流转;ORC 更偏 Hive 体系,Stripe、索引、Bloom Filter 这些元数据做得更细,Hive 场景里经常更占优。选型先看引擎生态,再看查询模式:多引擎共享优先 Parquet;Hive 里重分析、重过滤,ORC 也很合适。最后补一句:真正决定快慢的不是谁更高级,而是能不能少读数据,也就是列裁剪、谓词下推和文件治理,做得好不好。
常见追问一:Parquet 和 ORC 哪个更快?没有绝对答案,要看查询模式和引擎实现。偏 Hive、过滤条件多、索引和统计吃得满,ORC 可能更占便宜;追求跨引擎通用和湖仓流转,Parquet 往往更稳。而格式只是第一步,分区设计、文件大小和统计信息同样重要。追问二:为什么列式特别适合分析查询?分析通常只读少量列,比如只算销售额、时间、地区。同一列连续存放,既减少 I/O,又更好压缩,还能配合列裁剪和谓词下推,跳过大量数据。追问三:Row Group 和 Stripe 有什么区别?本质都是横向切块。Parquet 往下是 Column Chunk 和 Page,ORC 往下是 Index、Data 和 Stream。区别不在谁更高级:ORC 的索引和统计更偏 Hive 风格,Parquet 更通用。追问四:小文件为什么拖慢查询?每个文件都有自己的 Footer、元数据和调度开销。文件越多,读 Footer、建任务、打开文件的成本越高,格式优势会被吃掉,所以合并小文件同样重要。