Doris Group Commit 是什么?为什么能优化高频小批量写入?

这道题考什么

在日志采集、埋点上报、设备状态同步等场景中,上游经常每次只写几十条甚至一条数据。如果每个小请求都独立开启一次导入事务,Doris 虽然能接收数据,但 FE 事务、BE 写入、Rowset 版本和后续 Compaction 都会被大量放大。

Group Commit 就是 Doris 为这类高频小批量写入准备的服务端攒批机制。它把短时间内写入同一张表的多个请求合并成更大的批次,再通过较少的事务统一提交。

一句话回答

Group Commit 会在 Doris 服务端把同一张表的多个小批量写入暂存并合并提交,以少量大事务替代大量小事务,从而降低事务、版本、Rowset 和 Compaction 开销;sync_mode 等待合并批次可见,async_mode 通常先写 WAL 再返回,吞吐更高但可见性更晚。

面试回答模板

Doris Group Commit 是服务端针对高频小批量写入的攒批机制。多个写入同一张表的小请求会进入共享队列,达到时间或数据量阈值后合并成较大的批次,用更少的事务统一提交。它能减少 FE 事务次数、Tablet 版本和小 Rowset 数量,从而降低 Compaction 与元数据压力。sync_mode 会等待合并批次提交并可见后返回,适合兼顾吞吐和读后可见;async_mode 通常先通过 WAL 保证可靠接收再返回,吞吐更高,但数据稍后才可见。它解决的是小事务效率问题,不等同于 2PC 或 Exactly-Once,涉及显式事务、Label 和严格提交语义时还要核对版本与导入方式。

图解

1000 个小写入怎么并成一个事务

  1. off_mode:一请求一事务:每秒 1000 次写入、每次只有几行。默认不开 Group Commit,每个请求都是一个独立导入事务:FE 要规划和管理 1000 个事务,Tablet 每秒多 1000 个版本,后台 Compaction 跟着吃紧。
  2. 开启后:请求进同表队列:会话变量 group_commit 或 Stream Load 的 Header 打开攒批。写同一张表的请求被送进 BE 上这张表的队列,几个请求拿到同一个以 group_commit 开头的 label 和同一个 txnId,说明它们进了同一个事务。
  3. async:先写 WAL 就返回:async_mode 下数据先写进 BE 本机的 WAL 就给客户端返回成功,响应最快。返回成功只表示数据已可靠接收,这一批还没提交,所以马上查询查不到。
  4. 攒到时间或数据量阈值:队列在两个条件任一满足时触发提交:时间到 group_commit_interval_ms(默认 10000 毫秒),或数据量到 group_commit_data_bytes。两者都是表属性,用 ALTER TABLE dt SET 调整。
  5. 一个事务提交并发布:这一批数据写成一个 Rowset,由一个事务提交、发布成 Tablet 的一个新版本。对比 off_mode:事务数、版本数和小 Rowset 都从「每个请求一个」降到「每批一个」,Compaction 的输入也少了。
  6. 可见后删除 WAL:事务发布后数据可见,对应的 WAL 就删掉。如果 BE 在提交前重启,会用 WAL 回放这批数据。所以 async 模式写入后最长要等一个提交间隔左右才能查到。
  7. sync:提交后才返回:sync_mode 同样攒批、同样一个事务,区别只在返回时机:客户端等自己所在的这一批提交后才收到成功,返回就能查到。代价是每次写入要等这一批提交,耗时和 group_commit_interval_ms 相关。
  8. Label 或 2PC:不攒批:官方文档列出的降级情况:指定了 Label、Stream Load 用两阶段提交、BEGIN…COMMIT 事务写入、部分列更新、表不支持轻量 Schema Change,都会自动退回普通导入,不进队列。要用 Label 做幂等或用 2PC 做 Exactly-Once 时,Group Commit 帮不上忙。
  9. WAL 只有一份:WAL 只存在接收数据的那台 BE 上,没有副本,磁盘损坏或文件被误删可能丢掉还没提交的数据;下线 BE 要用 DECOMMISSION。单次导入数据量太大、未知长度的 chunked Stream Load、磁盘空间不足时,async_mode 会自动切成 sync_mode。

三种模式:什么时候返回,返回后能不能查到

off_modesync_modeasync_mode
攒批不攒攒攒
返回自己的事务 提交后这一批 提交后写完 WAL 就返回
可查能能不一定 要等提交
事务一请求一个一批一个一批一个
延迟一次事务等这一批 提交最低
注意版本多 合并压力大写入要等 提交间隔WAL 单副本 可见有延迟

一、为什么高频小批量写入很贵

假设业务每秒写入 1000 次,每次只有 1 到 10 行。真正昂贵的并不只是写入这些行,而是每个请求背后的固定成本:

  1. FE 需要解析、规划并管理导入事务。
  2. BE 需要准备写入上下文、编码数据并落盘。
  3. 每次成功提交都可能形成新的 Rowset 和 Tablet 版本。
  4. 大量小 Rowset 会增加元数据、查询扫描和 Compaction 压力。
  5. 请求建立、鉴权和网络往返的成本无法被数据量摊薄。

客户端当然也可以主动攒到几千行再发,但很多采集端数量多、逻辑简单,或者希望每条数据快速交给 Doris,并不容易统一改造。Group Commit 把攒批下沉到服务端,使多个独立请求也能共享一个提交批次。

二、Group Commit 的核心流程

Group Commit 的关键不是把 SQL 拼成一条,而是把同表写入放进共享的批次中。可以把它理解为同一张表对应一个短暂开放的“拼车队列”。

一个简化流程如下:

  1. 客户端通过 INSERT INTO ... VALUES 或支持的 Stream Load 发来小批数据。
  2. BE 根据目标表,把数据放入对应的 Group Commit 队列。
  3. 队列按时间阈值或数据量阈值触发 Flush。
  4. 多个请求的数据被合并到同一批次中。
  5. Doris 用更少的事务完成写入和发布。
  6. 同批数据一起变为可见,或者在异步模式下稍后可见。

不同版本的具体实现和配置项可能调整,但理解时抓住三个对象即可:同表队列、触发阈值、合并事务。

三、三种模式有什么区别

Doris 常见的 Group Commit 模式包括 off_mode、sync_mode 和 async_mode。

对比维度 off_mode sync_mode async_mode
是否服务端攒批 否 是 是
客户端何时收到成功 独立事务完成后 所在合并批次提交并可见后 数据可靠接收并写入 WAL 等阶段后
数据可见性 返回后通常可见 返回后可见 返回时可能尚不可见
单次响应延迟 受独立事务影响 受攒批窗口影响 通常最低
写入吞吐 小请求下较低 高 通常最高
失败感知 直接感知本次事务结果 感知合并批次结果 后续 Flush 失败不一定同步反馈给原请求
典型场景 低频写入、强控制事务 希望兼顾吞吐和读后可见 日志、埋点等吞吐优先场景
主要代价 事务和版本数量多 会增加少量等待时间 存在可见性延迟,运维上要关注 WAL

sync_mode 中的“同步”不是每个请求独立提交,而是客户端等待自己所在的合并批次完成。async_mode 中的“异步”也不是把数据直接丢进内存就返回,它通常依赖 WAL 提供故障恢复能力,但业务仍要接受稍后可查。

四、为什么它能提升写入性能

1. 摊薄事务固定成本

原来 1000 个请求可能需要 1000 次事务处理,合并后可能只需要少量事务。事务数量降低,FE 的事务管理和版本发布压力也随之降低。

2. 减少小 Rowset 和版本

Doris 的数据会组织为 Rowset、Segment 和 Tablet 版本。每次小写入都形成很小的增量,会让 Tablet 版本链变长。合并后单个 Rowset 更大,版本数量更可控。

3. 降低 Compaction 压力

Compaction 负责把多个 Rowset 合并。输入 Rowset 越碎,调度、读写放大和元数据管理的成本越高。Group Commit 从源头减少碎片,往往比事后只调 Compaction 参数更有效。

4. 提高编码和落盘效率

更大的批次更容易充分利用列式编码、压缩和顺序写入,也能摊薄网络协议与请求初始化成本。

五、它和客户端攒批、2PC 有什么区别

方案 攒批位置 主要目标 是否等待可见 是否强调跨阶段事务控制 适合场景 注意点
客户端攒批 SDK、采集程序 减少请求数 由导入方式决定 否 客户端可控、批量明确 客户端要维护缓存、重试和内存
Group Commit Doris 服务端 合并多个独立小写入 由 sync/async 决定 否 高频小批量写入 同表请求才能有效合并
Stream Load 2PC 客户端与 Doris 将预提交和最终提交分离 最终 Commit 后可见 是 Exactly-Once Sink、外部事务协同 管理 label、重试和提交状态
Broker/批量导入 外部文件与 Doris 大规模离线装载 批次完成后可见 任务级控制 大文件、历史回灌 不适合逐条低延迟写入

Group Commit 优化的是小事务过多,2PC 解决的是写入结果如何与外部状态一致提交。它们关注的问题不同。尤其在需要显式 Label、2PC 或严格幂等控制时,要确认所用 Doris 版本和导入方式是否支持 Group Commit,不要默认开启后仍保留完全相同的事务语义。

六、如何开启和配置

对支持的 INSERT INTO ... VALUES,可以在会话中设置模式:

SET group_commit = async_mode;

INSERT INTO app_event
VALUES
    ('u1001', 'click', NOW()),
    ('u1002', 'expose', NOW());

Stream Load 可以通过请求 Header 指定模式,示意如下:

-H "group_commit:sync_mode"

表级常见调节方向是:

  • 攒批等待时间:等待更久通常更容易形成大批次,但写入可见延迟上升。
  • 批次数据量:阈值更大可减少事务和 Rowset,但单批占用资源更多。
  • WAL 容量与磁盘:异步模式需要关注 WAL 目录空间、刷盘和故障恢复。

具体属性名称、默认值和支持范围可能随 Doris 版本变化,生产环境应以部署版本文档和 SHOW CREATE TABLE、系统变量结果为准,不要照搬固定数值。

七、什么时候不应该使用

Group Commit 不是所有导入问题的通用开关,以下场景要谨慎:

  1. 业务要求每次写入返回后立即查询到数据,却选择了异步模式。
  2. 上游需要用 2PC 将 Doris 提交和 Kafka Checkpoint 严格绑定。
  3. 每次本来就是几十 MB 的大批量导入,继续攒批收益有限。
  4. 写入分散到大量不同表,单表队列很难形成有效批次。
  5. 同一主键存在严格更新顺序,却没有 Sequence Column 或明确的顺序控制。
  6. 需要逐请求获得精确的错误明细,而异步模式无法同步返回后续 Flush 结果。

八、效果不好怎么排查

如果开启后收益不明显,可以按以下顺序检查:

  1. 请求是否真的小且频繁:低频或大批量本身不需要 Group Commit。
  2. 是否写入同一张表:不同表通常无法进入同一个批次。
  3. 模式是否真正生效:检查会话变量、Stream Load Header 和版本支持情况。
  4. 批次是否太小:阈值过低会频繁 Flush,合并收益有限。
  5. 批次是否太大:等待时间过长会导致可见延迟和内存压力。
  6. 瓶颈是否另有原因:磁盘、网络、分桶不合理、热点 Tablet、Schema Change 和 Compaction 积压都可能成为主瓶颈。

总结

Group Commit 的本质可以概括为一句话:把服务端的大量小事务合并成少量大事务。

判断是否使用时,重点看四件事:写入是不是高频小批量、是否要求返回后立即可见、是否依赖 2PC、同表请求能否形成有效批次。选对模式后,它不仅能提高写入吞吐,也能从源头减少小 Rowset、版本和 Compaction 压力。

常见追问

1. Group Commit 会不会导致数据丢失?

同步模式会等待批次提交;异步模式通常通过 WAL 持久化后再返回,以支持故障恢复。但“已可靠接收”和“已经可查询”不是一回事,仍要监控 WAL、Flush 失败和磁盘空间。

2. 为什么 Group Commit 能缓解 Compaction?

因为它让多个小请求共同形成更大的 Rowset,减少参与 Compaction 的碎片数量。Compaction 输入更少,调度和读写放大通常都会下降。

3. Group Commit 是否越久、批次越大越好?

不是。等待时间越长、批次越大,吞吐可能提高,但数据可见延迟、内存占用和单批失败影响范围也会增加,应按业务延迟目标压测。

4. async_mode 返回成功后为什么查询不到?

因为返回成功可能只表示数据已经被可靠接收并进入 WAL,后台合并批次尚未完成提交和发布。需要等待数据可见,而不是立即判定丢失。

5. Group Commit 能替代 Flink Doris Connector 的两阶段提交吗?

不能直接替代。Group Commit 主要优化小批量写入效率;两阶段提交关注 Flink Checkpoint 与 Doris 事务的一致提交。Exactly-Once 场景应优先遵循 Connector 支持的事务模式。

相关题目