StarRocks 的 FE、BE、CN 分别负责什么?FE 如何选主和保证高可用?

这道题考什么

这是 StarRocks 组件与高可用面试的基础题。面试官想确认你能否把元数据控制、数据执行、持久存储和投票仲裁分开,而不只是背“FE 管元数据、BE 存数据”。最容易失分的回答是“有三台 FE 就能容忍一台故障”,却没有说明其中哪些是 Follower、哪些是 Observer。本文统一以 StarRocks 3.5 稳定版为基线,重点解释职责和故障边界,不重复展开两种架构的选型。

一句话回答

FE 管连接、元数据、规划与调度,BE 在存算一体中存储并执行,CN 在存算分离中执行并缓存;FE 由含 Leader 在内的 Follower 构成投票集合,Observer 不投票,选主和元数据写入依赖多数派。

面试回答模板

面试官:FE、BE、CN 有什么区别?FE 怎么高可用?

你:我会把控制层、执行层和仲裁分开。FE 管连接、元数据、SQL 规划和调度;BE 在存算一体中同时存数据和执行 SQL;CN 在存算分离中执行并缓存热数据,持久数据放远端。FE 的 Leader 从 Follower 中选出,Leader 本身也算一票,Observer 只同步元数据、不参与选举。三台 Follower 需要两票,故障一台仍可形成多数派;一台 Follower 加两台 Observer 没有这种容错能力。落地还要配健康入口、客户端重连和执行层冗余。我判断高可用是否成立,会检查投票集合、故障域和实际切换演练,并分别验证入口重连、元数据写入及分析查询能否恢复。这样才能确认控制层多数派与执行层容量都满足业务要求。

图解

三票选主,Observer不能补票

  1. 稳定投票集合有三票:Follower1是当前Leader,Follower2和3也有选票。多数派需要2票,Observer不计入分母。
  2. 旧主与其余成员隔离:旧Leader落在1票侧,不能以正常仲裁继续推进元数据写入;另外两票仍然连通。
  3. 两票侧完成重新选举:Follower2或3可在完成选举后成为新Leader。Observer不能参选;切换期间请求可能失败。
  4. 再丢一票就失去多数派:假设Follower3也失联,只剩Follower2这一票。即使Observer活着,也不能把1票变成2票。
  5. 恢复投票成员并追平日志:恢复Follower网络和日志回放,使至少2票重新连通,再核实Leader与客户端链路;不能只数活着的FE进程。

先看痛点:为什么“节点还活着”不等于服务可用?

痛点1:把控制入口和计算执行混成一层

假设一个订单报表同时扫描三台执行节点。客户端连接的是 FE,但不代表订单明细全部穿过 FE 扫描。FE 解析 SQL、做语义分析与执行计划,安排执行节点处理扫描、Join、聚合,再协调结果返回。BE 或 CN 才真正消耗大量扫描与计算资源。

如果查询慢就无差别增加 FE,扫描吞吐不一定改善;如果连接、规划或者元数据服务拥挤,只增加 BE 也可能没有帮助。判断扩哪一层,要看瓶颈落在哪种职责,不能看到机器 CPU 高就套用同一种扩容方案。

类比:FE 像餐厅的接单与调度台,执行节点像厨房。接单员增加了,炉灶的处理能力并不会自动增加。

痛点2:三台 FE 的角色配置错误

假设部署一台 Follower 和两台 Observer。平时三台机器都能接查询,看起来入口充足,但唯一的 Follower 故障后,两台 Observer 无法选出新 Leader。它们保存了元数据副本,却没有成为投票成员,也不能自动替代投票成员。

高可用规划应先列出投票成员名单,再计算故障预算。常见部署是三台 Follower,其中一台处于 Leader 状态,需要扩展查询入口时另加 Observer。这里的“三”指投票成员数,不是 FE 进程总数。

关键理解:Observer 是“有账本、无选票”,元数据副本数量与投票集合大小是两个指标。

核心论证:把职责、角色与仲裁分开讲

原因1:FE、BE、CN 的故障影响不同

FE 维护数据库、表结构、分区、节点状态等元数据,并管理连接、查询规划与任务调度。各 FE 通过日志同步与回放保持元数据副本,元数据写操作由 Leader 负责,其他 FE 把相应写请求转交 Leader。这里的“写”主要强调元数据变更及相关事务控制,并不是说用户数据文件都写到 FE 磁盘。

BE 同时负责本地持久数据与 SQL 执行;一个 Tablet 可以在不同 BE 上保存多个副本。BE 故障时,需要结合副本健康度判断数据能否继续读取,以及后续副本修复如何进行。FE 多数派正常,也不能补救所有 BE 数据副本同时丢失。

CN 在存算分离中负责计算与热数据缓存,持久数据保存在对象存储或 HDFS。CN 可以使用本地磁盘,所以“无状态”不能理解成“没有任何本地文件”。本地缓存不是持久数据的唯一副本,CN 丢失之后仍要考虑正在执行的任务失败、缓存重建和远端读取压力。

比较维度 FE BE CN
主要职责 元数据与规划调度 存储加计算 计算加缓存
典型部署 两种架构都有 存算一体 存算分离
用户明细持久数据 不承担明细数据存储 本地磁盘上的数据副本 远端对象存储或 HDFS
本地磁盘内容 元数据日志和镜像等 数据文件与索引等 数据缓存及运行文件等
水平扩展目标 连接与规划入口能力 存储容量与计算资源 计算资源与缓存容量
故障检查重点 Leader、仲裁、日志回放 Tablet 副本和执行任务 任务恢复与缓存重建
可靠性依赖 元数据复制与多数派 多副本及故障域部署 远端存储可靠性与计算冗余

类比:账本管理员、带仓库的加工站、从公共仓取货的加工站,分别对应三类职责;它们不能相互替代。

原因2:Leader 是 Follower 的运行角色

谈角色时最好分两层:Follower 是可参与选举的成员类型,Leader 是其中当前承担主职责的节点;Observer 是不参与选举的成员类型。当前 Leader 也要计入投票集合。不能说“三个 Follower 再加一个 Leader 一共四票”,也不能把选主时的候选范围扩到 Observer。

3.5 的 FE 通过 BDB JE 复制组实现元数据日志复制与选主,投票成员需要形成多数派。源码 BDBHA 直接区分 electable nodes 和 secondary nodes,后者对应 Observer。面试时可以沿着“谁投票、谁回放日志、谁接受元数据写入”解释,不需要引入外部 ZooKeeper,也不能据此套用标准 Raft 的日志结构、任期字段和消息细节。

日志回放进度同样重要。一台 FE 进程健康、网络端口可连接,不代表它的元数据已经追平 Leader。排查入口异常,应同时查看角色、存活状态、可服务状态和日志进度,而不是只做 TCP 探活。检查命令可以从 SHOW FRONTENDS; 开始,再结合 FE 日志确认选主与回放状态。

关键理解:类型回答“有没有投票权”,运行角色回答“这一刻谁当主”,健康状态回答“是否能按要求提供服务”。

原因3:多数派守住唯一元数据写入方向

假设稳定投票集合有 N 个 Follower,正常多数派大小为向下取整的 N/2 再加一。三票需要两票,五票需要三票。三台投票成员最多容忍一台不可达,五台最多容忍两台;增加 Observer 不会改变这些数字。

网络分区时,三票被分成两票和一票,只有两票侧具备形成多数派的条件。若旧 Leader 落到一票侧,它不能继续以正常仲裁方式成功推进新的元数据写入;两票侧可以在完成选举后恢复主职责。真正的约束是多数派与主身份保护,不是“约定旧主主动退出”这么脆弱。

选举期间连接和任务可能失败,客户端需要合理的超时、重连与按操作语义设计的重试。不要承诺“切换完全无感”或固定秒数:检测、日志追平、客户端连接池和入口代理都会影响恢复体验。尤其导入超时后,应先辨认事务状态,再决定是否重试,避免把请求重发当成唯一恢复手段。

类比:三名有签字权的负责人要两人共同签字,旁听人数再多也不能替代缺失的签字人。

补充概念:高可用还需要哪些配套?

补充概念1——入口冗余也要能找到健康 FE

多台 FE 只是服务端具备冗余,客户端如果永远只连一台固定地址,仍可能出现单点入口。可以通过具备健康检查的负载均衡或客户端多地址重连提高接入可靠性。健康检查要理解 FE 的可服务状态;切主不意味着所有已有连接都能原样迁移,连接级会话状态也需要由应用正确处理。

投票成员应跨合适的故障域部署,但也要评估网络延迟对元数据复制的影响。把三台 FE 都放在同一台宿主机上,数量够了,宿主机故障仍会全部消失。跨故障域的价值是降低共同故障概率,不是把通信代价变成零。

关键理解:高可用包含“服务器有替身”和“客户端找得到替身”,两段都要验证。

补充概念2——复制保护在线服务,备份保护恢复能力

元数据多数派、副本冗余与备份解决的风险不同。误删、错误变更可能被复制到所有节点,多副本并不自动提供回到昨天的能力。反过来,存在备份也不等于选主时能继续服务。恢复演练应该检查元数据和业务数据的匹配关系,并确认外部存储、账号权限与连接入口等依赖可用。

一次可解释的故障演练至少要记录:故障前投票集合、故障期间是否仍有多数派、哪个 FE 成为 Leader、客户端发生何种失败,以及查询和导入何时恢复。这样得到的恢复时间才是环境内的实测结果,不能移植为产品的固定性能承诺。

类比:多人保管当前账本用于继续营业,历史归档用于纠错恢复,两者都需要。

完整决策树:从故障现象找到责任层

官方依据(StarRocks 3.5)

常见追问

为什么通常推荐奇数个投票成员?

因为多数派是严格超过一半。三票和四票都只能容忍一票故障,而四票要拿到三票才构成多数派;增加这一票没有增加同级故障预算,还增加复制协调成本。五票才把容忍故障数提高到两票。奇数不是协议能否运行的硬条件,而是常见的成本与容错折中,仍需结合跨故障域部署和元数据写入负载评估。

Observer 挂了会不会影响元数据写入?

Observer 不计入投票多数派,因此单个 Observer 故障不会直接减少投票成员数。但它承担的连接与查询可能失败,其他 FE 也可能因请求转移而负载升高。恢复后还需要同步和回放日志,不能只看到进程启动就恢复全部流量。分析影响时,应把仲裁是否受损与接入容量是否受损分别判断,再通过健康检查控制流量。

FE 多数派丢失后,所有查询一定立即失败吗?

不能给这种绝对结论。不同请求涉及的元数据状态、所在 FE 的可服务条件和已经运行的任务都可能不同。可以确定的是正常选主和元数据写入无法依赖失去的多数派继续推进。运维上不能把部分查询暂时成功当作集群健康证据,应恢复仲裁、检查日志回放与事务状态,再验证完整的查询和导入链路。

有三台 FE 后,还需要部署三个 BE 吗?

这是两个独立维度。三台投票 FE 保护元数据控制层,BE 的数量、副本策略与分布决定执行层容量和用户数据的容错条件。具体需要多少 BE 取决于数据量、副本数和性能目标,不应机械地与 FE 数量对齐。存算分离还需要另外检查 CN 计算冗余与远端存储可用性,不能拿 FE 仲裁替代数据层可靠性。

相关题目