StarRocks 一条 SQL 如何执行?Fragment、Pipeline、Driver 和向量化是什么关系?
这道题考什么
这是一道经常出现在 StarRocks 原理面试里的题。面试官真正想听的是:一份分布式执行计划怎样变成节点上的可调度任务,任务又怎样批量处理数据。只回答“FE 生成计划,BE 向量化执行”,没有解释中间的层次;把 Fragment、Pipeline、Driver 都叫线程,也会把调优方向带偏。本文以 StarRocks 3.5 稳定版为基线,重点讲物理执行层级。
一句话回答
FE 将 SQL 优化为物理计划并划分 Fragment,调度为计算节点上的 Fragment Instance;实例内的执行算子再组织为有依赖关系的 Pipeline,由 Driver 驱动算子实例处理列式 Chunk,向量化解决批量计算效率,Pipeline 与 Driver 解决组织、并发和调度。