Flink 写入 StarRocks 如何实现 Exactly-Once?Checkpoint 和两阶段提交怎么配合?
这道题考什么
这道题真正考的是故障发生在两个系统之间时,谁来决定一批数据能不能生效。只说“打开 Checkpoint,再用主键去重”不够:Checkpoint 不会自动把任意 HTTP 写入变成事务,主键覆盖也不能消除重复累加、旧值回灌和外部副作用。
一句话回答
使用支持事务接口的 StarRocks Flink Connector V2,显式开启 sink.semantic=exactly-once,把事务预提交挂到 Checkpoint,把最终提交挂到成功检查点通知,并在恢复时结合状态和原事务结果完成提交或清理。