StarRocks Routine Load 如何消费 Kafka?如何保证数据和消费进度一致?
这道题考什么
这是实时链路面试中检验一致性理解的一道题。面试官关心的不是“它会自动消费”,而是执行节点宕机后从哪里继续,怎样防止数据与进度脱节。常见错误是把 Kafka 消费者组提交、主键去重和导入事务混成同一件事,再直接宣称整个系统全局 Exactly-Once。
一句话回答
Routine Load 由 FE 调度、BE 或 CN 消费,把一个任务批次的写入与对应分区进度关联到 StarRocks 事务中恢复;保证的是这段摄取边界,不能扩大成多来源、多表业务的全局 Exactly-Once。