Doris 导入事务怎么实现?Label 和 2PC 有什么作用

这道题考什么

这是 Doris 实时写入里比“支持哪些导入方式”更深入的一题。很多人会说“Stream Load 是事务性的,Label 可以防重,Flink 用 2PC 保证 Exactly-Once”,但说不清三个关键点:Commit 为什么还不能查、Label 防的是哪种重复、2PC 如何把 Flink Checkpoint 和 Doris 提交绑定起来。

一句话回答

Doris 把一次导入包装成由 FE 管理的事务,经历 PREPARE → PRECOMMITTED → COMMITTED → VISIBLE,失败则进入 ABORTED;Label 是数据库范围内的批次幂等标识,2PC 把“写完数据”和“正式提交”拆成两步,使 Flink 只有在 Checkpoint 成功后才通知 Doris Commit。

面试回答模板

面试官:Doris 导入事务怎么实现?Label 和 2PC 有什么作用?

你:Doris 会把每次导入包装成由 FE 管理的事务,通常经历 PREPARE、PRECOMMITTED、COMMITTED 和 VISIBLE,失败则进入 ABORTED。Commit 表示事务已经确认,Visible 才表示相关 Tablet 的 Version 发布完成、查询能够看到整批数据。Label 是数据库范围内的批次幂等标识,网络超时后用同一 Label 重试,可以避免同一批数据重复提交,但它不能替代业务主键去重。Flink 场景使用 Stream Load 2PC:先把数据写到预提交状态,并把 TxnId 记录进 Checkpoint;只有 Checkpoint 全局成功,才通知 Doris Commit,从而把消费位点和写入结果绑定到同一成功边界。

图解

导入从写入到可查,2PC 如何等 Checkpoint

  1. 开事务,占住 Label:客户端带着 Label 发起 Stream Load。FE 查这个数据库里有没有同名、且没被 ABORTED 的事务,没有就分配 TxnId 1001,状态是 PREPARE。
  2. 写数据,查询看不到:数据交给协调 BE,按分桶路由到各 Tablet 的副本,写成 Rowset 和 Segment。文件已经落盘,但还没挂到任何版本上,查询读不到。
  3. COMMITTED:结果已定:BE 回报写入结果,FE 确认每个 Tablet 都有多数副本写成功,事务进入 COMMITTED。从这里开始事务不能再 Abort,但版本还没发布,查询仍看不到。
  4. Publish 后才 VISIBLE:FE 给相关副本下发 Publish Version,副本把 Rowset 挂到新版本上,事务变成 VISIBLE。新查询看到整批 100 万行,已经在跑的查询按自己的版本读,不会读到半批数据。
  5. 响应丢了,原 Label 重试:假如 Success 在网络上丢了,客户端用同一个 Label 重试。FE 发现已有未 ABORTED 的同名事务,返回 Label Already Exists,ExistingJobStatus 为 FINISHED,不会再写一份。被 ABORTED 的 Label 可以重新用。
  6. 2PC:先预提交:Flink Sink 在请求头带 two_phase_commit: true,数据写完后事务停在 PRECOMMITTED:既不提交,也不可见。Label 带 Checkpoint 编号,Sink 把 TxnId 1002 写进 Checkpoint 8 的状态。
  7. Checkpoint 成功再提交:所有算子都完成 Checkpoint 8 后,Sink 收到通知,才调 _stream_load_2pc 发 txn_operation: commit。Kafka 位点和这批数据落在同一个 Checkpoint 边界。
  8. Checkpoint 失败:Checkpoint 9 没完成,作业从 8 恢复,位点退回 8。事务 1003 不在成功的 Checkpoint 里,要被 Abort;没人处理时,预提交超过 3600 秒也会被 FE 自动 Abort。数据重新消费,不重也不丢。
  9. 换了 Label 重试:重试时换了新 Label,FE 只当是新批次,同样的 100 万行写了两次。Label 只防同一批次重复提交,业务行去重靠 Unique Key 或上游。Stream Load 的 Label 完成后默认只保留 12 小时。

导入事务四个状态各意味着什么

PREPAREPRE COMMITTEDCOMMITTEDVISIBLE
何时开事务 写数据中2PC 写完 等指令多数副本 写成功Publish 完成
可查不可见不可见不可见新查询 可见
可撤可以 Abort可以 Abort不能 回滚不能 回滚
超时导入超时 被 Abort默认 1 小时 被 Abort等 Publish 不会丢已完成
普通经过不经过经过经过

先看痛点:网络超时后到底写成功了吗?

应用向 Doris 导入 100 万行,服务端已经提交,但返回响应前网络断了。客户端不知道结果,如果直接换一个批次标识重试,可能再写 100 万行;如果不重试,又可能漏数。

Label 就是这批数据的业务身份证。重试时继续使用原 Label,Doris 可以返回原事务状态或拒绝重复成功批次,而不是再创建一份相同数据。

类比:Label 像银行转账流水号。页面超时后应拿同一个流水号查结果,而不是重新生成一笔转账。

导入事务的生命周期

PREPARE——事务已经创建,数据正在写

FE 创建事务并分配 TxnId,Label 与事务绑定。协调 BE 解析数据并把不同记录路由到对应 Tablet 的副本,BE 生成 Segment 和 Rowset 数据,但此时业务查询不能看到这些行。

PRECOMMITTED——第一阶段完成,等待最终决定

普通单阶段导入可能不会让用户明显感知这个状态;Stream Load 2PC 会在数据写完后停在预提交阶段。它表示参与写入的数据已经准备好,但调用方还可以选择 Commit 或 Abort。

COMMITTED——事务已经确认,但版本可能还没发布

Commit 表示 FE 接受了事务结果,但各 Tablet Replica 还需要执行 Publish Version。此时数据文件已经存在,却不一定对查询可见。

VISIBLE——版本发布完成,查询可以看到

当相关 Tablet 的版本发布达到可见条件,事务进入 VISIBLE。新的查询可以看到整批数据,旧查询仍按照各自快照读取,不会看到半批数据。

最容易答错的一点:**Committed 不一定等于 Visible。**前者是事务决定,后者是 Tablet Version 已发布并能被查询。

Label 到底保证了什么?

Label 主要解决批次级重试幂等。以 Stream Load 为例:

curl --location-trusted -u root: \
  -H "Expect:100-continue" \
  -H "label:order_20260919_01" \
  -H "column_separator:," \
  -T orders.csv \
  -XPUT http://fe_host:8030/api/dw/order_detail/_stream_load

同一个数据库中,已成功使用的 Label 不能再被当成新批次重复提交。生产中常把任务名、业务日期、分区和批次号组合成稳定 Label。

但 Label 不是永久业务唯一键:

  • 它防的是“同一导入批次重复提交”,不是同一个 order_id 在不同批次重复出现。
  • Label 有保存期限和数量限制,不能拿它做多年级别的永久去重。
  • 如果重试时生成了新 Label,Doris 无法知道两批数据业务上相同。
  • 业务行去重仍要靠 Unique Key、Sequence Column 或上游逻辑。

2PC 如何配合 Flink Checkpoint?

单纯“写成功后立刻 Commit”无法和 Flink 状态形成原子边界。假设 Doris 已提交,但 Flink 在保存 Kafka Offset 前失败,恢复后会重新消费并再次写入。

两阶段提交把过程拆开:

  1. Flink 在一个 Checkpoint 周期内攒批并写入 Doris。
  2. Doris 完成第一阶段,事务停在 PRECOMMITTED。
  3. Flink 把 TxnId、Label 等信息写进 Checkpoint 状态。
  4. Checkpoint 全局成功后,Flink 收到完成通知,再向 Doris 发出 Commit。
  5. 如果 Checkpoint 失败,该事务不会成为业务成功边界,可 Abort 或在恢复流程中处理。

这样恢复时,Flink 可以根据 Checkpoint 中记录的事务状态判断该提交还是放弃,不用猜“上次到底写成功没有”。

Label、普通事务和 2PC 的区别

对比维度 Label 幂等 普通单阶段导入 Stream Load 2PC
解决问题 重试避免重复批次 一批数据原子写入 跨 Flink Checkpoint 协调提交
核心标识 Label TxnId 与 Label TxnId、Label、Checkpoint
是否拆分提交 否 否 预提交和最终提交分离
失败重试 同 Label 查询原结果 依据导入结果重试 恢复后按状态 Commit/Abort
能否保证业务主键唯一 不能 不能 不能,仍依赖表模型
典型场景 HTTP 批量导入 文件、INSERT、Stream Load Flink Exactly-Once Sink
主要代价 管理稳定 Label 每批事务开销 事务保留、恢复和协调复杂度
数据何时可查 原事务到 VISIBLE 到 VISIBLE 第二阶段提交并 VISIBLE 后

小批量事务为什么会拖慢 Doris?

每次导入都有固定成本:解析和计划、创建事务、分发数据、生成 Rowset、Commit、Publish Version。每秒几百个极小事务,会让 FE 忙于事务与版本管理,BE 产生大量小 Rowset,Compaction 也会持续积压。

解决方向有三种:

  • 客户端攒批,减少提交次数。
  • 高频小 INSERT 使用 Group Commit,让服务端合并事务。
  • Flink Sink 调整批次与 Checkpoint 周期,在延迟和吞吐之间平衡。

Group Commit 和 2PC 目标不同:前者优化许多小写入的吞吐,后者保证外部 Checkpoint 与 Doris 提交的一致边界。需要强 Exactly-Once 的 2PC 链路不能简单用 Group Commit 替代。

完整决策树/架构一览

常见追问

为什么 COMMITTED 以后还要 VISIBLE?

因为事务决定和各 Tablet 副本的数据版本发布是两个步骤。Commit 后 FE 已经接受本次事务,但 BE 仍需执行 Publish Version,让相关 Rowset 进入连续可见版本链。只有达到 Visible,新查询才能稳定看到这批数据。区分两者有助于排查“导入显示已提交但查询暂时看不到”的问题。

Label 能实现 Exactly-Once 吗?

Label 能把上游的 At-Least-Once 重试变成批次级幂等,但前提是同一逻辑批次始终复用相同 Label,而且重试发生在 Label 状态保留范围内。它不能阻止不同 Label 携带相同业务数据,也不能协调 Flink Checkpoint 的全局成功,因此流式端到端 Exactly-Once 通常还需要 2PC。

Flink 任务恢复时报 Label 已使用怎么办?

先确认是否从正确的 Checkpoint 或 Savepoint 恢复,以及 Label 前缀是否与原任务冲突。如果某个 Checkpoint 已经对应成功事务,重复提交应识别原结果;如果随意修改 Label 前缀绕过报错,反而可能写重。还要检查事务与 Label 保留时间是否覆盖最长故障恢复窗口。

为什么不能把 Checkpoint 周期设得特别短?

周期越短,端到端延迟可能下降,但每次 Checkpoint 都会带来更频繁的预提交、事务状态保存、Commit、Version 发布和小 Rowset。长期会增加 FE、BE 和 Compaction 压力。应结合允许延迟、单批数据量、并发 Sink 数和恢复目标压测,而不是只追求秒级提交。

相关题目