RAG 效果应该怎么评估

这道题考什么

RAG 上线前最常见的验收方式是找几个人随便问十个问题,感觉回答“还行”就发布。这样很容易掩盖问题:模型可能靠自身知识猜对,也可能检索到了错误文档却碰巧输出正确答案。

真正的评估必须把链路拆开,先看证据有没有找对,再看模型有没有忠于证据,最后看系统是否满足线上成本和安全要求。

一句话回答

RAG 评估要分层进行:检索层评估正确证据能否进入并排在 TopK 前部,生成层评估答案正确性、忠实度和引用质量,系统层评估延迟、成本、新鲜度、权限与线上任务成功率。

面试回答模板

面试官:RAG 效果应该怎么评估?
你:RAG 不能只看最终答案,我会分三层评估。第一是检索层,用 Recall@K 看正确证据有没有进入候选,用 MRR 或 NDCG 看排序,再监控权限违规;第二是生成层,看答案正确性、对证据的忠实度、上下文相关性、引用准确性和无答案时的拒答;第三是系统层,看 P95 延迟、Token 成本、索引新鲜度和线上任务完成率。评测集要来自真实问题,并标注标准答案、支持证据、权限和题型,覆盖多文档、版本冲突、无答案和越权样本。失败时按“召回、重排、生成、引用”逐层定位,而不是直接换大模型。

图解

只看最终答案会漏掉什么,检索层指标怎么算

  1. 检索错了,模型猜对了:端到端看是对的,但答案不是从证据来的。哪天制度改成「不可结转」,模型照样答「可以」。只看最终答案,这类样本会被算成通过。
  2. 检索对了,模型答错了:正确条款已经进了上下文,错在生成。这时该改 Prompt、上下文顺序或模型,换 Retriever 没有用。两层指标分开看,才知道该改哪一层。
  3. 答案对了,引用错了:结论对,用户点开引用却是一篇讲打卡的制度,不支持这句话。企业场景里这仍是不合格答案,要单独评「每句引用是否支持该句」。
  4. 同一问题,5 个候选:检索层评估要先有标注:每个问题哪些片段相关、相关程度多少。下面四个指标都在这 5 个候选上手算。
  5. Recall@K:进没进来:只取前 3 个,最关键的 §6 排在第 4,被截掉了。K 取 5 能全召回,但上下文也多了 3 条无关片段。
  6. Precision@K:噪声多少:前 5 个里有 3 个是噪声。K 越大 Recall 越容易高,Precision 通常越低,所以 K 要在覆盖和噪声之间取舍。
  7. MRR:第一个相关排第几:MRR 只看第一个相关结果,后面的相关片段排在哪它不管。适合每题主要只有一个答案片段的场景。
  8. NDCG:分等级看排序:相关度 2 的 §6 排在第 4,分母 log₂5 把它的分数打了折。NDCG 用理想排序做分母归一化,同时看相关等级和位置。也有用 2^相关度 − 1 做分子的写法,比较时口径要统一。
  9. 重排后:哪些指标变了:Reranker 只改顺序,Top5 的集合不变,所以 Recall@5、Precision@5 看不出效果,要看 MRR、NDCG 或小 K 的 Recall。评检索时 K 和指标要按「最终放进上下文的条数」来选。

三层评估:各评什么、要什么标注

检索层生成层端到端
目标证据找到没 排得靠前没是否忠于 证据 引用对不对任务有没有 真正完成
指标召回 R@K 精确 P@K MRR NDCG正确性 忠实度 引用准确性完成率 转人工率 延迟、成本
标注每题相关 片段和等级正确性要 标准答案; 忠实度不用真实问题 +成功判定
改哪分块、改写 检索、重排Prompt 模型 上下文顺序先拆到 具体哪层

为什么不能只看最终答案

情况一:检索错了,模型猜对了

问题是通用知识时,模型可能不依赖检索内容也能答对。看起来端到端成功,实际知识库更新后仍不可控。

情况二:检索对了,模型答错了

正确条款已经进入上下文,但模型忽略否定条件、混合多个版本或生成了证据外结论。这应优化上下文与生成,而不是盲目换 Retriever。

情况三:答案对了,引用错了

用户看到正确结论,却点开一篇不支持该结论的文档。企业场景中,这仍然是不合格答案。

检索层评估什么

Recall@K

正确证据是否出现在前 K 个候选中。若 100 个问题中有 88 个问题的正确证据进入 Top10,则 Recall@10 可以理解为 88%。它回答的是“有没有召回”。

Precision@K

前 K 个候选中有多少真正相关。它反映噪声程度,但 RAG 初筛通常更优先保证 Recall。

MRR

关注第一个正确结果出现的位置。正确证据越靠前,倒数排名越高。适合每个问题主要对应一个核心答案的场景。

NDCG

当候选存在多级相关性时,NDCG 同时考虑相关等级和排序位置,适合多个证据共同回答的问题。

指标 主要回答 适用重点 局限
Recall@K 正确证据进来了吗 Retriever 覆盖率 不关心候选噪声
Precision@K 候选有多少相关 上下文纯度 可能鼓励过少召回
MRR 第一个正确结果多靠前 单答案排序 忽略后续相关结果
NDCG 多级相关结果排得好吗 多证据排序 需要相关等级标注
Hit Rate 是否至少命中一次 快速基线 信息较粗
权限违规率 是否召回越权内容 安全评估 不代表相关性

生成层评估什么

答案正确性

结论是否符合标准答案和业务口径。数值题可以精确比较,开放问答需要规则、人工或模型裁判结合。

忠实度

答案中的事实是否都能从给定上下文推出。它专门检查“有证据之外的发挥”。

上下文相关性

提供给模型的内容是否真正帮助回答问题。大量无关 Chunk 会增加成本并诱发错误。

引用准确性与完整性

引用是否支持对应句子,关键结论是否都有来源,而不是只在末尾随便挂一篇相关文档。

拒答能力

知识库没有答案或证据冲突时,系统能否明确说明不足。一个永远给答案的系统,表面回答率高,风险反而更大。

怎么构建评测集

评测集应来自真实业务,而不是只由开发者临时编题。每条样本至少包含问题、标准答案、支持证据、允许的业务口径和权限身份。

题型要覆盖:

  • 直接事实题。
  • 同义表达和口语问题。
  • 多文档组合题。
  • 含时间、版本和地区条件的问题。
  • 无答案题与冲突证据题。
  • 无权限访问题。
  • 错别字、缩写和长尾问法。

评测集还要划分固定回归集和持续新增集。固定集用于比较版本,新增集用于防止团队只针对旧题调参。

人工评估和模型裁判怎么选

维度 规则评估 模型裁判 人工评估
速度 快 较快 慢
成本 低 中 高
一致性 高 需校准 受标注规范影响
适合内容 数值、格式、关键词 开放答案、忠实度 高风险和疑难样本
可解释性 高 需保留理由 高
主要风险 覆盖有限 偏差、位置效应 成本和主观差异

实际通常三者结合:能确定性判断的先用代码;开放答案用模型裁判批量评估,并定期抽样给领域专家复核;财务、医疗等高风险结论增加人工验收。

系统和线上指标

离线质量过关后,还要观察:P50/P95 延迟、单次 Token、Embedding 与 Reranker 成本、索引更新时间、无答案率、用户追问率、点赞点踩和转人工率。

线上 A/B 不能只看“用户停留更久”。可能是答案变差导致用户反复追问。应结合任务完成率、二次改问率和人工反馈解释指标。

排查决策树

常见追问

Recall@K 越高越好吗?

不是无条件越高越好。扩大 K 通常能提高 Recall,也会增加噪声、重排成本和上下文 Token。应在满足正确证据覆盖的前提下,综合 Precision、延迟和答案质量选 K。

可以全部用大模型做裁判吗?

不建议。模型裁判也有偏差,可能偏爱更长答案或与自身风格相似的表达。应先用人工样本校准,打乱候选顺序,保留评分理由,并持续抽样复核。

没有标准答案怎么办?

可以重点评估忠实度、引用支持、专家偏好和任务完成情况,也可以让领域专家为高频问题逐步补充黄金样本。不能因为答案开放就完全放弃评估。

如何避免评测集被调参“刷分”?

保留一组不参与日常调参的隐藏测试集,并持续把线上失败样本加入新增集。报告中按题型分桶,防止总体平均分掩盖某类问题退化。

相关题目