StarRocks 如何查询 Hive 和 Iceberg?External Catalog 与 Data Cache 有什么作用?
这道题考什么
这是湖仓联邦查询中的常见题。面试官关心的是元数据怎么找到、文件在哪里读、为什么有时读不到新数据。常见误答是“建 Catalog 就把数据同步到 StarRocks”“开缓存就能实时读”。本文统一以 StarRocks 3.5 为基线,把元数据、文件块缓存和数据导入分开讨论。
一句话回答
External Catalog 让 StarRocks 连接 Hive/Iceberg 的元数据与存储,直接规划并读取外部文件;元数据刷新解决发现分区、文件或新快照的问题,Data Cache 缓存实际读取的远端文件块以降低重复 I/O,它既不是 CDC,也不是所有查询结果的缓存。