Agent Eval 怎么做?最终结果、执行轨迹和工具调用如何评估
这道题考什么
普通问答应用常用“答案对不对”评估效果,但 Agent 不只生成答案,还会规划、调用工具、修改外部状态并消耗时间和费用。只看最终文本,可能得到一个看似正确但过程危险的 Agent。面试官真正想听的是:Agent Eval 要同时评估结果、过程、工具、效率和安全。
一句话回答
Agent Eval 应以任务成功为核心,同时检查执行轨迹、工具选择与参数、状态变化、成本延迟和安全约束,并把离线回归与线上监控结合起来。
普通问答应用常用“答案对不对”评估效果,但 Agent 不只生成答案,还会规划、调用工具、修改外部状态并消耗时间和费用。只看最终文本,可能得到一个看似正确但过程危险的 Agent。面试官真正想听的是:Agent Eval 要同时评估结果、过程、工具、效率和安全。
Agent Eval 应以任务成功为核心,同时检查执行轨迹、工具选择与参数、状态变化、成本延迟和安全约束,并把离线回归与线上监控结合起来。