LLM as a Judge 是什么？用大模型做评测有哪些问题 - Agent 工程化面试题

LLM-as-a-Judge 是什么？用大模型做评测有哪些问题

先抓住题目的核心考点，再把答案拆成可复述的面试表达。

1 次浏览2026/9/16

先下定义一句话说清它是什么，面试官先听到结论。

再讲机制拆出关键流程、边界条件和常见坑位。

最后落场景结合生产经验，说出什么时候用、怎么权衡。

题目描述

请回答：LLM-as-a-Judge 是什么？用大模型做评测有哪些问题

开放式回答很难用字符串匹配评估，于是很多团队让另一个大模型充当裁判。这个方案便宜、快速、可扩展，但最容易被答成“找一个更强模型打分就行”。面试官真正想听的是：Judge 也是模型，也会受评分标准、答案顺序、篇幅和自身偏好影响。