Doris 导入事务怎么实现?Label 和 2PC 有什么作用
这道题考什么
这是 Doris 实时写入里比“支持哪些导入方式”更深入的一题。很多人会说“Stream Load 是事务性的,Label 可以防重,Flink 用 2PC 保证 Exactly-Once”,但说不清三个关键点:Commit 为什么还不能查、Label 防的是哪种重复、2PC 如何把 Flink Checkpoint 和 Doris 提交绑定起来。
一句话回答
Doris 把一次导入包装成由 FE 管理的事务,经历 PREPARE → PRECOMMITTED → COMMITTED → VISIBLE,失败则进入 ABORTED;Label 是数据库范围内的批次幂等标识,2PC 把“写完数据”和“正式提交”拆成两步,使 Flink 只有在 Checkpoint 成功后才通知 Doris Commit。
面试回答模板
面试官:Doris 导入事务怎么实现?Label 和 2PC 有什么作用?
你:Doris 会把每次导入包装成由 FE 管理的事务,通常经历 PREPARE、PRECOMMITTED、COMMITTED 和 VISIBLE,失败则进入 ABORTED。Commit 表示事务已经确认,Visible 才表示相关 Tablet 的 Version 发布完成、查询能够看到整批数据。Label 是数据库范围内的批次幂等标识,网络超时后用同一 Label 重试,可以避免同一批数据重复提交,但它不能替代业务主键去重。Flink 场景使用 Stream Load 2PC:先把数据写到预提交状态,并把 TxnId 记录进 Checkpoint;只有 Checkpoint 全局成功,才通知 Doris Commit,从而把消费位点和写入结果绑定到同一成功边界。
图解
导入从写入到可查,2PC 如何等 Checkpoint
- 开事务,占住 Label:客户端带着 Label 发起 Stream Load。FE 查这个数据库里有没有同名、且没被 ABORTED 的事务,没有就分配 TxnId 1001,状态是 PREPARE。
- 写数据,查询看不到:数据交给协调 BE,按分桶路由到各 Tablet 的副本,写成 Rowset 和 Segment。文件已经落盘,但还没挂到任何版本上,查询读不到。
- COMMITTED:结果已定:BE 回报写入结果,FE 确认每个 Tablet 都有多数副本写成功,事务进入 COMMITTED。从这里开始事务不能再 Abort,但版本还没发布,查询仍看不到。
- Publish 后才 VISIBLE:FE 给相关副本下发 Publish Version,副本把 Rowset 挂到新版本上,事务变成 VISIBLE。新查询看到整批 100 万行,已经在跑的查询按自己的版本读,不会读到半批数据。
- 响应丢了,原 Label 重试:假如 Success 在网络上丢了,客户端用同一个 Label 重试。FE 发现已有未 ABORTED 的同名事务,返回 Label Already Exists,ExistingJobStatus 为 FINISHED,不会再写一份。被 ABORTED 的 Label 可以重新用。
- 2PC:先预提交:Flink Sink 在请求头带 two_phase_commit: true,数据写完后事务停在 PRECOMMITTED:既不提交,也不可见。Label 带 Checkpoint 编号,Sink 把 TxnId 1002 写进 Checkpoint 8 的状态。
- Checkpoint 成功再提交:所有算子都完成 Checkpoint 8 后,Sink 收到通知,才调 _stream_load_2pc 发 txn_operation: commit。Kafka 位点和这批数据落在同一个 Checkpoint 边界。
- Checkpoint 失败:Checkpoint 9 没完成,作业从 8 恢复,位点退回 8。事务 1003 不在成功的 Checkpoint 里,要被 Abort;没人处理时,预提交超过 3600 秒也会被 FE 自动 Abort。数据重新消费,不重也不丢。
- 换了 Label 重试:重试时换了新 Label,FE 只当是新批次,同样的 100 万行写了两次。Label 只防同一批次重复提交,业务行去重靠 Unique Key 或上游。Stream Load 的 Label 完成后默认只保留 12 小时。
导入事务四个状态各意味着什么
| PREPARE | PRE COMMITTED | COMMITTED | VISIBLE | |
|---|---|---|---|---|
| 何时 | 开事务 写数据中 | 2PC 写完 等指令 | 多数副本 写成功 | Publish 完成 |
| 可查 | 不可见 | 不可见 | 不可见 | 新查询 可见 |
| 可撤 | 可以 Abort | 可以 Abort | 不能 回滚 | 不能 回滚 |
| 超时 | 导入超时 被 Abort | 默认 1 小时 被 Abort | 等 Publish 不会丢 | 已完成 |
| 普通 | 经过 | 不经过 | 经过 | 经过 |
先看痛点:网络超时后到底写成功了吗?
应用向 Doris 导入 100 万行,服务端已经提交,但返回响应前网络断了。客户端不知道结果,如果直接换一个批次标识重试,可能再写 100 万行;如果不重试,又可能漏数。
Label 就是这批数据的业务身份证。重试时继续使用原 Label,Doris 可以返回原事务状态或拒绝重复成功批次,而不是再创建一份相同数据。
类比:Label 像银行转账流水号。页面超时后应拿同一个流水号查结果,而不是重新生成一笔转账。
导入事务的生命周期
PREPARE——事务已经创建,数据正在写
FE 创建事务并分配 TxnId,Label 与事务绑定。协调 BE 解析数据并把不同记录路由到对应 Tablet 的副本,BE 生成 Segment 和 Rowset 数据,但此时业务查询不能看到这些行。
PRECOMMITTED——第一阶段完成,等待最终决定
普通单阶段导入可能不会让用户明显感知这个状态;Stream Load 2PC 会在数据写完后停在预提交阶段。它表示参与写入的数据已经准备好,但调用方还可以选择 Commit 或 Abort。
COMMITTED——事务已经确认,但版本可能还没发布
Commit 表示 FE 接受了事务结果,但各 Tablet Replica 还需要执行 Publish Version。此时数据文件已经存在,却不一定对查询可见。
VISIBLE——版本发布完成,查询可以看到
当相关 Tablet 的版本发布达到可见条件,事务进入 VISIBLE。新的查询可以看到整批数据,旧查询仍按照各自快照读取,不会看到半批数据。
最容易答错的一点:**Committed 不一定等于 Visible。**前者是事务决定,后者是 Tablet Version 已发布并能被查询。
Label 到底保证了什么?
Label 主要解决批次级重试幂等。以 Stream Load 为例:
curl --location-trusted -u root: \
-H "Expect:100-continue" \
-H "label:order_20260919_01" \
-H "column_separator:," \
-T orders.csv \
-XPUT http://fe_host:8030/api/dw/order_detail/_stream_load
同一个数据库中,已成功使用的 Label 不能再被当成新批次重复提交。生产中常把任务名、业务日期、分区和批次号组合成稳定 Label。
但 Label 不是永久业务唯一键:
- 它防的是“同一导入批次重复提交”,不是同一个
order_id在不同批次重复出现。 - Label 有保存期限和数量限制,不能拿它做多年级别的永久去重。
- 如果重试时生成了新 Label,Doris 无法知道两批数据业务上相同。
- 业务行去重仍要靠 Unique Key、Sequence Column 或上游逻辑。
2PC 如何配合 Flink Checkpoint?
单纯“写成功后立刻 Commit”无法和 Flink 状态形成原子边界。假设 Doris 已提交,但 Flink 在保存 Kafka Offset 前失败,恢复后会重新消费并再次写入。
两阶段提交把过程拆开:
- Flink 在一个 Checkpoint 周期内攒批并写入 Doris。
- Doris 完成第一阶段,事务停在 PRECOMMITTED。
- Flink 把
TxnId、Label 等信息写进 Checkpoint 状态。 - Checkpoint 全局成功后,Flink 收到完成通知,再向 Doris 发出 Commit。
- 如果 Checkpoint 失败,该事务不会成为业务成功边界,可 Abort 或在恢复流程中处理。
这样恢复时,Flink 可以根据 Checkpoint 中记录的事务状态判断该提交还是放弃,不用猜“上次到底写成功没有”。
Label、普通事务和 2PC 的区别
| 对比维度 | Label 幂等 | 普通单阶段导入 | Stream Load 2PC |
|---|---|---|---|
| 解决问题 | 重试避免重复批次 | 一批数据原子写入 | 跨 Flink Checkpoint 协调提交 |
| 核心标识 | Label | TxnId 与 Label | TxnId、Label、Checkpoint |
| 是否拆分提交 | 否 | 否 | 预提交和最终提交分离 |
| 失败重试 | 同 Label 查询原结果 | 依据导入结果重试 | 恢复后按状态 Commit/Abort |
| 能否保证业务主键唯一 | 不能 | 不能 | 不能,仍依赖表模型 |
| 典型场景 | HTTP 批量导入 | 文件、INSERT、Stream Load | Flink Exactly-Once Sink |
| 主要代价 | 管理稳定 Label | 每批事务开销 | 事务保留、恢复和协调复杂度 |
| 数据何时可查 | 原事务到 VISIBLE | 到 VISIBLE | 第二阶段提交并 VISIBLE 后 |
小批量事务为什么会拖慢 Doris?
每次导入都有固定成本:解析和计划、创建事务、分发数据、生成 Rowset、Commit、Publish Version。每秒几百个极小事务,会让 FE 忙于事务与版本管理,BE 产生大量小 Rowset,Compaction 也会持续积压。
解决方向有三种:
- 客户端攒批,减少提交次数。
- 高频小 INSERT 使用 Group Commit,让服务端合并事务。
- Flink Sink 调整批次与 Checkpoint 周期,在延迟和吞吐之间平衡。
Group Commit 和 2PC 目标不同:前者优化许多小写入的吞吐,后者保证外部 Checkpoint 与 Doris 提交的一致边界。需要强 Exactly-Once 的 2PC 链路不能简单用 Group Commit 替代。
完整决策树/架构一览
常见追问
为什么 COMMITTED 以后还要 VISIBLE?
因为事务决定和各 Tablet 副本的数据版本发布是两个步骤。Commit 后 FE 已经接受本次事务,但 BE 仍需执行 Publish Version,让相关 Rowset 进入连续可见版本链。只有达到 Visible,新查询才能稳定看到这批数据。区分两者有助于排查“导入显示已提交但查询暂时看不到”的问题。
Label 能实现 Exactly-Once 吗?
Label 能把上游的 At-Least-Once 重试变成批次级幂等,但前提是同一逻辑批次始终复用相同 Label,而且重试发生在 Label 状态保留范围内。它不能阻止不同 Label 携带相同业务数据,也不能协调 Flink Checkpoint 的全局成功,因此流式端到端 Exactly-Once 通常还需要 2PC。
Flink 任务恢复时报 Label 已使用怎么办?
先确认是否从正确的 Checkpoint 或 Savepoint 恢复,以及 Label 前缀是否与原任务冲突。如果某个 Checkpoint 已经对应成功事务,重复提交应识别原结果;如果随意修改 Label 前缀绕过报错,反而可能写重。还要检查事务与 Label 保留时间是否覆盖最长故障恢复窗口。
为什么不能把 Checkpoint 周期设得特别短?
周期越短,端到端延迟可能下降,但每次 Checkpoint 都会带来更频繁的预提交、事务状态保存、Commit、Version 发布和小 Rowset。长期会增加 FE、BE 和 Compaction 压力。应结合允许延迟、单批数据量、并发 Sink 数和恢复目标压测,而不是只追求秒级提交。