13 道Paimon面试题。
Apache Paimon 是一个面向湖仓一体的 流批统一表格式和存储层,定位是把 HDFS/S3 上的湖表变成既能被 Flink 实时写、又能被 Spark/Trino/Hive 批量查的“可更新、可增量、可回溯”的数据底座。…
Hive 表更像 离线追加型数仓表,Hudi 更像 面向数据湖 Upsert 和增量摄取的湖表格式,Paimon 更偏 Flink 友好的流批统一可更新湖仓表;如果只是离线追加用 Hive,如果要 CDC 实时入湖和增量消费,Paimon …
Paimon 的核心存储结构可以理解为 元数据管快照,Manifest 管文件列表,Bucket 管数据分布,LSM Sorted Runs 管主键数据文件;写入先产生小文件和增量文件,Compact 再把同一 Bucket 内的小文件、多…
Paimon 建表最关键的是 主键、分区、Bucket、表类型、文件格式、合并策略和保留策略;声明 Primary Key 后表就是主键表,用于 Upsert/Delete,但 SQL 里通常写 NOT ENFORCED,意思是计算引擎不负…
Paimon 的 Bucket 用来把同一分区内的数据进一步 哈希打散并组织并行读写和主键合并;数量太少会导致单 Bucket 过大、并行度不足,数量太多会导致小文件和元数据压力,生产上要结合数据量、写入并发、查询并发、主键分布和 Comp…
Merge Engine 决定 Paimon 主键表中 同一个 Primary Key 的多条记录如何合并;常见类型有 deduplicate、partial-update、aggregation,其中 deduplicate 适合订单状态…
Paimon 支持多引擎读写,常见是 Flink 做流式写入和增量读取,Spark 做批写批读和离线补数,Trino/Hive 做交互式或离线查询;它支持流式写入,Flink 写入通常依赖 checkpoint 提交一致版本,Trino 可…
Paimon 支持多引擎访问,常见是 Flink 写和流读,Spark 批读批写,Trino/Presto 做交互查询,Hive 做离线兼容查询;Catalog Table 重要是因为它把表名、Schema、分区、快照、文件位置和表参数统一…
Paimon 的流批一体靠的是统一湖表存储 + 快照提交 + 增量变更读取:流任务持续写数据文件并在 Checkpoint 后提交 Snapshot,批任务读取某个一致 Snapshot,流任务可以从 Snapshot 之后继续增量消费 C…
Changelog Producer 是 Paimon 用来 生成可被下游流式消费的变更日志 的机制;Paimon 主键表支持 Insert、Update、Delete 等变更,写入时会按主键和 RowKind 维护最新状态,而下游是否能读…
Flink 流式写 Paimon 时,成功的 Checkpoint 通常会驱动 Paimon 提交本轮待提交数据,有有效 Commit 才会形成可见 Snapshot;但两者不是严格一对一,失败 Checkpoint 不会产生可见提交、无数…
Paimon 运维的核心是:用保留策略控制历史版本,用 Checkpoint 驱动流式提交,用 Compact 治理小文件和版本读放大,用元数据与日志定位写入失败;在湖仓架构里,Paimon 负责承接流批一体的可更新明细表,而不是替代所有计…
Paimon 查询慢要按 少扫分区、少读文件、少合并版本、少处理元数据、少跨引擎损耗 来排查;重点看分区裁剪、Bucket 分布、小文件数量、Compact 是否滞后、Manifest/Snapshot 元数据、文件格式和查询引擎的谓词/列…