RAG 效果应该怎么评估
这道题考什么
RAG 上线前最常见的验收方式是找几个人随便问十个问题,感觉回答“还行”就发布。这样很容易掩盖问题:模型可能靠自身知识猜对,也可能检索到了错误文档却碰巧输出正确答案。
真正的评估必须把链路拆开,先看证据有没有找对,再看模型有没有忠于证据,最后看系统是否满足线上成本和安全要求。
一句话回答
RAG 评估要分层进行:检索层评估正确证据能否进入并排在 TopK 前部,生成层评估答案正确性、忠实度和引用质量,系统层评估延迟、成本、新鲜度、权限与线上任务成功率。
面试回答模板
面试官:RAG 效果应该怎么评估?
你:RAG 不能只看最终答案,我会分三层评估。第一是检索层,用 Recall@K 看正确证据有没有进入候选,用 MRR 或 NDCG 看排序,再监控权限违规;第二是生成层,看答案正确性、对证据的忠实度、上下文相关性、引用准确性和无答案时的拒答;第三是系统层,看 P95 延迟、Token 成本、索引新鲜度和线上任务完成率。评测集要来自真实问题,并标注标准答案、支持证据、权限和题型,覆盖多文档、版本冲突、无答案和越权样本。失败时按“召回、重排、生成、引用”逐层定位,而不是直接换大模型。
图解
只看最终答案会漏掉什么,检索层指标怎么算
- 检索错了,模型猜对了:端到端看是对的,但答案不是从证据来的。哪天制度改成「不可结转」,模型照样答「可以」。只看最终答案,这类样本会被算成通过。
- 检索对了,模型答错了:正确条款已经进了上下文,错在生成。这时该改 Prompt、上下文顺序或模型,换 Retriever 没有用。两层指标分开看,才知道该改哪一层。
- 答案对了,引用错了:结论对,用户点开引用却是一篇讲打卡的制度,不支持这句话。企业场景里这仍是不合格答案,要单独评「每句引用是否支持该句」。
- 同一问题,5 个候选:检索层评估要先有标注:每个问题哪些片段相关、相关程度多少。下面四个指标都在这 5 个候选上手算。
- Recall@K:进没进来:只取前 3 个,最关键的 §6 排在第 4,被截掉了。K 取 5 能全召回,但上下文也多了 3 条无关片段。
- Precision@K:噪声多少:前 5 个里有 3 个是噪声。K 越大 Recall 越容易高,Precision 通常越低,所以 K 要在覆盖和噪声之间取舍。
- MRR:第一个相关排第几:MRR 只看第一个相关结果,后面的相关片段排在哪它不管。适合每题主要只有一个答案片段的场景。
- NDCG:分等级看排序:相关度 2 的 §6 排在第 4,分母 log₂5 把它的分数打了折。NDCG 用理想排序做分母归一化,同时看相关等级和位置。也有用 2^相关度 − 1 做分子的写法,比较时口径要统一。
- 重排后:哪些指标变了:Reranker 只改顺序,Top5 的集合不变,所以 Recall@5、Precision@5 看不出效果,要看 MRR、NDCG 或小 K 的 Recall。评检索时 K 和指标要按「最终放进上下文的条数」来选。
三层评估:各评什么、要什么标注
| 检索层 | 生成层 | 端到端 | |
|---|---|---|---|
| 目标 | 证据找到没 排得靠前没 | 是否忠于 证据 引用对不对 | 任务有没有 真正完成 |
| 指标 | 召回 R@K 精确 P@K MRR NDCG | 正确性 忠实度 引用准确性 | 完成率 转人工率 延迟、成本 |
| 标注 | 每题相关 片段和等级 | 正确性要 标准答案; 忠实度不用 | 真实问题 +成功判定 |
| 改哪 | 分块、改写 检索、重排 | Prompt 模型 上下文顺序 | 先拆到 具体哪层 |
为什么不能只看最终答案
情况一:检索错了,模型猜对了
问题是通用知识时,模型可能不依赖检索内容也能答对。看起来端到端成功,实际知识库更新后仍不可控。
情况二:检索对了,模型答错了
正确条款已经进入上下文,但模型忽略否定条件、混合多个版本或生成了证据外结论。这应优化上下文与生成,而不是盲目换 Retriever。
情况三:答案对了,引用错了
用户看到正确结论,却点开一篇不支持该结论的文档。企业场景中,这仍然是不合格答案。
检索层评估什么
Recall@K
正确证据是否出现在前 K 个候选中。若 100 个问题中有 88 个问题的正确证据进入 Top10,则 Recall@10 可以理解为 88%。它回答的是“有没有召回”。
Precision@K
前 K 个候选中有多少真正相关。它反映噪声程度,但 RAG 初筛通常更优先保证 Recall。
MRR
关注第一个正确结果出现的位置。正确证据越靠前,倒数排名越高。适合每个问题主要对应一个核心答案的场景。
NDCG
当候选存在多级相关性时,NDCG 同时考虑相关等级和排序位置,适合多个证据共同回答的问题。
| 指标 | 主要回答 | 适用重点 | 局限 |
|---|---|---|---|
| Recall@K | 正确证据进来了吗 | Retriever 覆盖率 | 不关心候选噪声 |
| Precision@K | 候选有多少相关 | 上下文纯度 | 可能鼓励过少召回 |
| MRR | 第一个正确结果多靠前 | 单答案排序 | 忽略后续相关结果 |
| NDCG | 多级相关结果排得好吗 | 多证据排序 | 需要相关等级标注 |
| Hit Rate | 是否至少命中一次 | 快速基线 | 信息较粗 |
| 权限违规率 | 是否召回越权内容 | 安全评估 | 不代表相关性 |
生成层评估什么
答案正确性
结论是否符合标准答案和业务口径。数值题可以精确比较,开放问答需要规则、人工或模型裁判结合。
忠实度
答案中的事实是否都能从给定上下文推出。它专门检查“有证据之外的发挥”。
上下文相关性
提供给模型的内容是否真正帮助回答问题。大量无关 Chunk 会增加成本并诱发错误。
引用准确性与完整性
引用是否支持对应句子,关键结论是否都有来源,而不是只在末尾随便挂一篇相关文档。
拒答能力
知识库没有答案或证据冲突时,系统能否明确说明不足。一个永远给答案的系统,表面回答率高,风险反而更大。
怎么构建评测集
评测集应来自真实业务,而不是只由开发者临时编题。每条样本至少包含问题、标准答案、支持证据、允许的业务口径和权限身份。
题型要覆盖:
- 直接事实题。
- 同义表达和口语问题。
- 多文档组合题。
- 含时间、版本和地区条件的问题。
- 无答案题与冲突证据题。
- 无权限访问题。
- 错别字、缩写和长尾问法。
评测集还要划分固定回归集和持续新增集。固定集用于比较版本,新增集用于防止团队只针对旧题调参。
人工评估和模型裁判怎么选
| 维度 | 规则评估 | 模型裁判 | 人工评估 |
|---|---|---|---|
| 速度 | 快 | 较快 | 慢 |
| 成本 | 低 | 中 | 高 |
| 一致性 | 高 | 需校准 | 受标注规范影响 |
| 适合内容 | 数值、格式、关键词 | 开放答案、忠实度 | 高风险和疑难样本 |
| 可解释性 | 高 | 需保留理由 | 高 |
| 主要风险 | 覆盖有限 | 偏差、位置效应 | 成本和主观差异 |
实际通常三者结合:能确定性判断的先用代码;开放答案用模型裁判批量评估,并定期抽样给领域专家复核;财务、医疗等高风险结论增加人工验收。
系统和线上指标
离线质量过关后,还要观察:P50/P95 延迟、单次 Token、Embedding 与 Reranker 成本、索引更新时间、无答案率、用户追问率、点赞点踩和转人工率。
线上 A/B 不能只看“用户停留更久”。可能是答案变差导致用户反复追问。应结合任务完成率、二次改问率和人工反馈解释指标。
排查决策树
常见追问
Recall@K 越高越好吗?
不是无条件越高越好。扩大 K 通常能提高 Recall,也会增加噪声、重排成本和上下文 Token。应在满足正确证据覆盖的前提下,综合 Precision、延迟和答案质量选 K。
可以全部用大模型做裁判吗?
不建议。模型裁判也有偏差,可能偏爱更长答案或与自身风格相似的表达。应先用人工样本校准,打乱候选顺序,保留评分理由,并持续抽样复核。
没有标准答案怎么办?
可以重点评估忠实度、引用支持、专家偏好和任务完成情况,也可以让领域专家为高频问题逐步补充黄金样本。不能因为答案开放就完全放弃评估。
如何避免评测集被调参“刷分”?
保留一组不参与日常调参的隐藏测试集,并持续把线上失败样本加入新增集。报告中按题型分桶,防止总体平均分掩盖某类问题退化。