Doris Group Commit 是什么?为什么能优化高频小批量写入?
这道题考什么
在日志采集、埋点上报、设备状态同步等场景中,上游经常每次只写几十条甚至一条数据。如果每个小请求都独立开启一次导入事务,Doris 虽然能接收数据,但 FE 事务、BE 写入、Rowset 版本和后续 Compaction 都会被大量放大。
Group Commit 就是 Doris 为这类高频小批量写入准备的服务端攒批机制。它把短时间内写入同一张表的多个请求合并成更大的批次,再通过较少的事务统一提交。
一句话回答
Group Commit 会在 Doris 服务端把同一张表的多个小批量写入暂存并合并提交,以少量大事务替代大量小事务,从而降低事务、版本、Rowset 和 Compaction 开销;sync_mode 等待合并批次可见,async_mode 通常先写 WAL 再返回,吞吐更高但可见性更晚。
面试回答模板
Doris Group Commit 是服务端针对高频小批量写入的攒批机制。多个写入同一张表的小请求会进入共享队列,达到时间或数据量阈值后合并成较大的批次,用更少的事务统一提交。它能减少 FE 事务次数、Tablet 版本和小 Rowset 数量,从而降低 Compaction 与元数据压力。sync_mode 会等待合并批次提交并可见后返回,适合兼顾吞吐和读后可见;async_mode 通常先通过 WAL 保证可靠接收再返回,吞吐更高,但数据稍后才可见。它解决的是小事务效率问题,不等同于 2PC 或 Exactly-Once,涉及显式事务、Label 和严格提交语义时还要核对版本与导入方式。
图解
1000 个小写入怎么并成一个事务
- off_mode:一请求一事务:每秒 1000 次写入、每次只有几行。默认不开 Group Commit,每个请求都是一个独立导入事务:FE 要规划和管理 1000 个事务,Tablet 每秒多 1000 个版本,后台 Compaction 跟着吃紧。
- 开启后:请求进同表队列:会话变量 group_commit 或 Stream Load 的 Header 打开攒批。写同一张表的请求被送进 BE 上这张表的队列,几个请求拿到同一个以 group_commit 开头的 label 和同一个 txnId,说明它们进了同一个事务。
- async:先写 WAL 就返回:async_mode 下数据先写进 BE 本机的 WAL 就给客户端返回成功,响应最快。返回成功只表示数据已可靠接收,这一批还没提交,所以马上查询查不到。
- 攒到时间或数据量阈值:队列在两个条件任一满足时触发提交:时间到 group_commit_interval_ms(默认 10000 毫秒),或数据量到 group_commit_data_bytes。两者都是表属性,用 ALTER TABLE dt SET 调整。
- 一个事务提交并发布:这一批数据写成一个 Rowset,由一个事务提交、发布成 Tablet 的一个新版本。对比 off_mode:事务数、版本数和小 Rowset 都从「每个请求一个」降到「每批一个」,Compaction 的输入也少了。
- 可见后删除 WAL:事务发布后数据可见,对应的 WAL 就删掉。如果 BE 在提交前重启,会用 WAL 回放这批数据。所以 async 模式写入后最长要等一个提交间隔左右才能查到。
- sync:提交后才返回:sync_mode 同样攒批、同样一个事务,区别只在返回时机:客户端等自己所在的这一批提交后才收到成功,返回就能查到。代价是每次写入要等这一批提交,耗时和 group_commit_interval_ms 相关。
- Label 或 2PC:不攒批:官方文档列出的降级情况:指定了 Label、Stream Load 用两阶段提交、BEGIN…COMMIT 事务写入、部分列更新、表不支持轻量 Schema Change,都会自动退回普通导入,不进队列。要用 Label 做幂等或用 2PC 做 Exactly-Once 时,Group Commit 帮不上忙。
- WAL 只有一份:WAL 只存在接收数据的那台 BE 上,没有副本,磁盘损坏或文件被误删可能丢掉还没提交的数据;下线 BE 要用 DECOMMISSION。单次导入数据量太大、未知长度的 chunked Stream Load、磁盘空间不足时,async_mode 会自动切成 sync_mode。
三种模式:什么时候返回,返回后能不能查到
| off_mode | sync_mode | async_mode | |
|---|---|---|---|
| 攒批 | 不攒 | 攒 | 攒 |
| 返回 | 自己的事务 提交后 | 这一批 提交后 | 写完 WAL 就返回 |
| 可查 | 能 | 能 | 不一定 要等提交 |
| 事务 | 一请求一个 | 一批一个 | 一批一个 |
| 延迟 | 一次事务 | 等这一批 提交 | 最低 |
| 注意 | 版本多 合并压力大 | 写入要等 提交间隔 | WAL 单副本 可见有延迟 |
一、为什么高频小批量写入很贵
假设业务每秒写入 1000 次,每次只有 1 到 10 行。真正昂贵的并不只是写入这些行,而是每个请求背后的固定成本:
- FE 需要解析、规划并管理导入事务。
- BE 需要准备写入上下文、编码数据并落盘。
- 每次成功提交都可能形成新的 Rowset 和 Tablet 版本。
- 大量小 Rowset 会增加元数据、查询扫描和 Compaction 压力。
- 请求建立、鉴权和网络往返的成本无法被数据量摊薄。
客户端当然也可以主动攒到几千行再发,但很多采集端数量多、逻辑简单,或者希望每条数据快速交给 Doris,并不容易统一改造。Group Commit 把攒批下沉到服务端,使多个独立请求也能共享一个提交批次。
二、Group Commit 的核心流程
Group Commit 的关键不是把 SQL 拼成一条,而是把同表写入放进共享的批次中。可以把它理解为同一张表对应一个短暂开放的“拼车队列”。
一个简化流程如下:
- 客户端通过
INSERT INTO ... VALUES或支持的 Stream Load 发来小批数据。 - BE 根据目标表,把数据放入对应的 Group Commit 队列。
- 队列按时间阈值或数据量阈值触发 Flush。
- 多个请求的数据被合并到同一批次中。
- Doris 用更少的事务完成写入和发布。
- 同批数据一起变为可见,或者在异步模式下稍后可见。
不同版本的具体实现和配置项可能调整,但理解时抓住三个对象即可:同表队列、触发阈值、合并事务。
三、三种模式有什么区别
Doris 常见的 Group Commit 模式包括 off_mode、sync_mode 和 async_mode。
| 对比维度 | off_mode | sync_mode | async_mode |
|---|---|---|---|
| 是否服务端攒批 | 否 | 是 | 是 |
| 客户端何时收到成功 | 独立事务完成后 | 所在合并批次提交并可见后 | 数据可靠接收并写入 WAL 等阶段后 |
| 数据可见性 | 返回后通常可见 | 返回后可见 | 返回时可能尚不可见 |
| 单次响应延迟 | 受独立事务影响 | 受攒批窗口影响 | 通常最低 |
| 写入吞吐 | 小请求下较低 | 高 | 通常最高 |
| 失败感知 | 直接感知本次事务结果 | 感知合并批次结果 | 后续 Flush 失败不一定同步反馈给原请求 |
| 典型场景 | 低频写入、强控制事务 | 希望兼顾吞吐和读后可见 | 日志、埋点等吞吐优先场景 |
| 主要代价 | 事务和版本数量多 | 会增加少量等待时间 | 存在可见性延迟,运维上要关注 WAL |
sync_mode 中的“同步”不是每个请求独立提交,而是客户端等待自己所在的合并批次完成。async_mode 中的“异步”也不是把数据直接丢进内存就返回,它通常依赖 WAL 提供故障恢复能力,但业务仍要接受稍后可查。
四、为什么它能提升写入性能
1. 摊薄事务固定成本
原来 1000 个请求可能需要 1000 次事务处理,合并后可能只需要少量事务。事务数量降低,FE 的事务管理和版本发布压力也随之降低。
2. 减少小 Rowset 和版本
Doris 的数据会组织为 Rowset、Segment 和 Tablet 版本。每次小写入都形成很小的增量,会让 Tablet 版本链变长。合并后单个 Rowset 更大,版本数量更可控。
3. 降低 Compaction 压力
Compaction 负责把多个 Rowset 合并。输入 Rowset 越碎,调度、读写放大和元数据管理的成本越高。Group Commit 从源头减少碎片,往往比事后只调 Compaction 参数更有效。
4. 提高编码和落盘效率
更大的批次更容易充分利用列式编码、压缩和顺序写入,也能摊薄网络协议与请求初始化成本。
五、它和客户端攒批、2PC 有什么区别
| 方案 | 攒批位置 | 主要目标 | 是否等待可见 | 是否强调跨阶段事务控制 | 适合场景 | 注意点 |
|---|---|---|---|---|---|---|
| 客户端攒批 | SDK、采集程序 | 减少请求数 | 由导入方式决定 | 否 | 客户端可控、批量明确 | 客户端要维护缓存、重试和内存 |
| Group Commit | Doris 服务端 | 合并多个独立小写入 | 由 sync/async 决定 | 否 | 高频小批量写入 | 同表请求才能有效合并 |
| Stream Load 2PC | 客户端与 Doris | 将预提交和最终提交分离 | 最终 Commit 后可见 | 是 | Exactly-Once Sink、外部事务协同 | 管理 label、重试和提交状态 |
| Broker/批量导入 | 外部文件与 Doris | 大规模离线装载 | 批次完成后可见 | 任务级控制 | 大文件、历史回灌 | 不适合逐条低延迟写入 |
Group Commit 优化的是小事务过多,2PC 解决的是写入结果如何与外部状态一致提交。它们关注的问题不同。尤其在需要显式 Label、2PC 或严格幂等控制时,要确认所用 Doris 版本和导入方式是否支持 Group Commit,不要默认开启后仍保留完全相同的事务语义。
六、如何开启和配置
对支持的 INSERT INTO ... VALUES,可以在会话中设置模式:
SET group_commit = async_mode;
INSERT INTO app_event
VALUES
('u1001', 'click', NOW()),
('u1002', 'expose', NOW());
Stream Load 可以通过请求 Header 指定模式,示意如下:
-H "group_commit:sync_mode"
表级常见调节方向是:
- 攒批等待时间:等待更久通常更容易形成大批次,但写入可见延迟上升。
- 批次数据量:阈值更大可减少事务和 Rowset,但单批占用资源更多。
- WAL 容量与磁盘:异步模式需要关注 WAL 目录空间、刷盘和故障恢复。
具体属性名称、默认值和支持范围可能随 Doris 版本变化,生产环境应以部署版本文档和 SHOW CREATE TABLE、系统变量结果为准,不要照搬固定数值。
七、什么时候不应该使用
Group Commit 不是所有导入问题的通用开关,以下场景要谨慎:
- 业务要求每次写入返回后立即查询到数据,却选择了异步模式。
- 上游需要用 2PC 将 Doris 提交和 Kafka Checkpoint 严格绑定。
- 每次本来就是几十 MB 的大批量导入,继续攒批收益有限。
- 写入分散到大量不同表,单表队列很难形成有效批次。
- 同一主键存在严格更新顺序,却没有 Sequence Column 或明确的顺序控制。
- 需要逐请求获得精确的错误明细,而异步模式无法同步返回后续 Flush 结果。
八、效果不好怎么排查
如果开启后收益不明显,可以按以下顺序检查:
- 请求是否真的小且频繁:低频或大批量本身不需要 Group Commit。
- 是否写入同一张表:不同表通常无法进入同一个批次。
- 模式是否真正生效:检查会话变量、Stream Load Header 和版本支持情况。
- 批次是否太小:阈值过低会频繁 Flush,合并收益有限。
- 批次是否太大:等待时间过长会导致可见延迟和内存压力。
- 瓶颈是否另有原因:磁盘、网络、分桶不合理、热点 Tablet、Schema Change 和 Compaction 积压都可能成为主瓶颈。
总结
Group Commit 的本质可以概括为一句话:把服务端的大量小事务合并成少量大事务。
判断是否使用时,重点看四件事:写入是不是高频小批量、是否要求返回后立即可见、是否依赖 2PC、同表请求能否形成有效批次。选对模式后,它不仅能提高写入吞吐,也能从源头减少小 Rowset、版本和 Compaction 压力。
常见追问
1. Group Commit 会不会导致数据丢失?
同步模式会等待批次提交;异步模式通常通过 WAL 持久化后再返回,以支持故障恢复。但“已可靠接收”和“已经可查询”不是一回事,仍要监控 WAL、Flush 失败和磁盘空间。
2. 为什么 Group Commit 能缓解 Compaction?
因为它让多个小请求共同形成更大的 Rowset,减少参与 Compaction 的碎片数量。Compaction 输入更少,调度和读写放大通常都会下降。
3. Group Commit 是否越久、批次越大越好?
不是。等待时间越长、批次越大,吞吐可能提高,但数据可见延迟、内存占用和单批失败影响范围也会增加,应按业务延迟目标压测。
4. async_mode 返回成功后为什么查询不到?
因为返回成功可能只表示数据已经被可靠接收并进入 WAL,后台合并批次尚未完成提交和发布。需要等待数据可见,而不是立即判定丢失。
5. Group Commit 能替代 Flink Doris Connector 的两阶段提交吗?
不能直接替代。Group Commit 主要优化小批量写入效率;两阶段提交关注 Flink Checkpoint 与 Doris 事务的一致提交。Exactly-Once 场景应优先遵循 Connector 支持的事务模式。