Agent开发完全实战指南(八)评测Eval
前七篇我们把 Agent 越造越强:会用工具、有记忆、能查知识库、会拉一帮子 Agent 并行干活。但有个问题一直被我们绕过去了——
你改了个提示词,是变好了还是变差了?换了个更便宜的模型,准确率掉了多少?给 RAG 调了 Top-K,检索到底准了没?
如果你的答案是"我跑了两个例子,感觉还行",那你就是在生产环境裸奔。今天用户问 A 你答对了,明天他问 B 你翻车了,你甚至不知道自己翻了车。
评测(Eval)的一句话概括:给 Agent 建一套可重复、可量化的「考试系统」——用固定题库打分,让「好还是坏」从拍脑袋的感觉,变成能看趋势、能卡红线的数字。
没有 eval 的 Agent 开发,本质是盲人开车。 这是 demo 和生产产品之间最硬的一道分水岭。
一、为什么 Agent 特别需要评测
传统软件是确定的:输入 x,永远输出 y,写好单元测试就完事。但 LLM 是概率性的:同样的输入,今天这么答,明天那么答,换个模型全变样。
| 维度 | 传统软件测试 | Agent 评测 |
|---|---|---|
| 输出 | 确定,精确匹配 | 概率性,需语义/规则判断 |
| 通过标准 | 对 or 错 | 打分、分档、多维度 |
| 回归 | 代码不变结果不变 | 换模型/提示词就可能全变 |
| 判分方式 | assert 相等 | 规则 + LLM-as-judge + 人工 |
关键洞察:Agent 的非确定性意味着「测一次通过」毫无意义。你需要的是一个能反复跑、能横向对比、能盯住趋势的评测集——每次改动都拿它过一遍,用数字说话。
二、评测的三个层次
别一上来就追求高大上。评测按投入从低到高分三层,先做最省事的规则评测,再逐步上模型裁判:
| 层次 | 怎么判分 | 适用 | 成本 |
|---|---|---|---|
| 规则评测(Rule-based) | 精确匹配、关键词包含、正则、JSON 字段校验 | 有明确对错的任务(分类、抽取、格式) | 最低,秒出结果 |
| LLM-as-judge | 让另一个(更强的)模型按标准打分 | 开放式回答、质量评估(有用性、准确性) | 中,每条一次 API 调用 |
| 人工评测 | 人来标注打分 | 最终验收、建 golden set、校准 judge | 最高,但最可信 |
关键洞察:三层不是二选一,而是配合用。规则能判的绝不用模型(又快又准又免费);规则判不了的开放题,才交给 LLM-as-judge;judge 本身准不准,则靠少量人工标注来校准。
三、核心概念:golden set 与四个动作
评测系统的骨架就四件事:
flowchart LR
G[(Golden Set
标准题库)] --> Run[跑 Agent
逐题产出答案]
Run --> Score[判分
规则/LLM裁判]
Score --> Report[汇总报告
通过率/分维度得分]
Report --> Compare[对比历史
回归:变好还是变差]- Golden Set(黄金标准集):一批「输入 + 期望输出(或评判标准)」的题目。这是整个评测的地基,质量决定一切。宁可 50 条高质量,不要 500 条垃圾。
- Run(跑):把每道题喂给 Agent,收集它的实际输出。
- Score(判分):拿实际输出对照期望,按规则或让 judge 打分。
- Compare(回归对比):和上一版结果比——通过率涨了还是跌了?哪些题从对变错了(regression)?
四、动手:写一个最小评测框架
我们做一个离线可跑的评测框架:定义 golden set、逐题判分、出报告、算通过率。判分同时演示规则和**(模拟的)LLM-as-judge**两种方式。
4.1 评测用例与结果的数据结构
// TestCase 一道评测题
type TestCase struct {
ID string
Input string // 喂给 Agent 的输入
Expected string // 期望答案(规则评测用)
Keywords []string // 期望答案必须包含的关键词(宽松匹配用)
}
// Result 一道题的评测结果
type Result struct {
ID string
Pass bool
Score float64
Detail string
}
4.2 两种判分器
规则判分——精确匹配或关键词覆盖,又快又免费:
// scoreByRule 规则判分:期望答案完全匹配得 1 分;
// 否则按关键词命中比例给分,命中全部关键词也算通过。
func scoreByRule(expected string, keywords []string, actual string) Result {
if strings.TrimSpace(actual) == strings.TrimSpace(expected) {
return Result{Pass: true, Score: 1.0, Detail: "精确匹配"}
}
if len(keywords) == 0 {
return Result{Pass: false, Score: 0, Detail: "不匹配且无关键词"}
}
hit := 0
for _, kw := range keywords {
if strings.Contains(actual, kw) {
hit++
}
}
score := float64(hit) / float64(len(keywords))
return Result{
Pass: score >= 1.0, // 命中全部关键词才算过
Score: score,
Detail: fmt.Sprintf("关键词命中 %d/%d", hit, len(keywords)),
}
}
LLM-as-judge——让更强的模型按标准打分。真实实现是给 judge 模型发一段结构化提示词,这里用桩演示它的接口形态:
// scoreByLLMJudge 让另一个模型当裁判打分(0~1)。
// 真实实现:构造 judge 提示词(题目+标准答案+待评答案+评分标准),
// 调用一个更强的模型,要求它只输出结构化分数。这里用桩演示接口。
func scoreByLLMJudge(input, expected, actual string) Result {
// judgePrompt := fmt.Sprintf(`你是严格的评分员。
// 问题:%s
// 参考答案:%s
// 待评答案:%s
// 请按「准确性」打分,只输出 0~1 之间的小数。`, input, expected, actual)
// score := callJudgeLLM(judgePrompt) // 真实场景在此调用 API
// —— 桩:用一个粗糙的相似度模拟 judge 的输出 ——
score := crudeSimilarity(expected, actual)
return Result{
Pass: score >= 0.6,
Score: score,
Detail: fmt.Sprintf("LLM-judge 打分 %.2f(此为模拟)", score),
}
}
关键洞察:LLM-as-judge 的成败在提示词。要给裁判明确的「评分维度 + 打分标准 + 输出格式」,并且强制它只输出分数(或结构化 JSON),否则你解析不了它的结果。judge 最好用比被测 Agent 更强的模型,且自己也要被少量人工标注校准。
4.3 跑整个评测集并出报告
// runEval 跑完整个 golden set,返回每题结果和总通过率
func runEval(cases []TestCase, agent func(string) string) ([]Result, float64) {
results := make([]Result, 0, len(cases))
passed := 0
for _, c := range cases {
actual := agent(c.Input) // 跑 Agent 拿实际输出
r := scoreByRule(c.Expected, c.Keywords, actual)
r.ID = c.ID
if r.Pass {
passed++
}
results = append(results, r)
}
passRate := float64(passed) / float64(len(cases))
return results, passRate
}
4.4 回归对比:这次改动是变好还是变差
评测最大的价值不是单次分数,而是和上一版比。哪些题从「过」变成了「不过」,就是 regression(回归退化),必须重点看:
// compareRegression 对比两次评测,找出退化的题(上次过、这次挂)
func compareRegression(prev, curr []Result) []string {
prevPass := map[string]bool{}
for _, r := range prev {
prevPass[r.ID] = r.Pass
}
var regressed []string
for _, r := range curr {
if prevPass[r.ID] && !r.Pass { // 上次过,这次挂
regressed = append(regressed, r.ID)
}
}
return regressed
}
完整代码见 code/08-eval/,离线可跑:内置一个 golden set 和两版"Agent",演示判分、通过率、回归对比。
五、评测该测什么维度
别只测"答案对不对"。一个生产 Agent 至少关心这几维:
| 维度 | 测什么 | 怎么测 |
|---|---|---|
| 准确性 | 答案对不对 | 规则匹配 / LLM-judge |
| 工具使用 | 该调工具时调没调、参数对不对 | 检查 tool_calls 序列 |
| 格式合规 | 输出是不是合法 JSON/指定结构 | schema 校验 |
| 安全 | 有没有被越狱、泄露、注入 | 红队用例 + 规则拦截 |
| 成本/延迟 | 花了多少 token、多久出结果 | 埋点统计(第 09 篇) |
| 稳定性 | 同一题多次跑结果一致吗 | 跑 N 次看方差 |
关键洞察:Agent 评测不只看「终答对不对」,还要看「过程对不对」——它是不是调了正确的工具、走了合理的步骤。终答蒙对但过程全错的 Agent,换个题就崩。
六、决策指南:评测怎么起步
| 你的处境 | 建议 |
|---|---|
| 还没有任何评测 | 立刻建 20-50 条 golden set,先跑规则评测 |
| 任务有明确对错(分类/抽取) | 规则评测足够,别上 LLM-judge |
| 开放式问答、要判质量 | 上 LLM-as-judge,先人工校准裁判 |
| 每次改提示词都心里没底 | 把 eval 接进 CI,改动即回归 |
| golden set 越来越大跑得慢/贵 | 分层:小集快跑(每次),全集慢跑(发布前) |
| 线上出了 bad case | 把它补进 golden set,从此不再翻同样的车 |
七、常见坑速查
| 坑 | 后果 | 正确做法 |
|---|---|---|
| golden set 质量差 | 评测结果误导决策 | 宁缺毋滥,人工把关 |
| 只测终答不测过程 | 蒙对的 Agent 上线即崩 | 加工具调用/步骤校验 |
| LLM-judge 提示词模糊 | 裁判打分飘、不可复现 | 明确评分标准+输出格式 |
| judge 用和被测同款模型 | 自己夸自己,虚高 | judge 用更强模型 + 人工校准 |
| 评测只跑一次不留档 | 无法对比、看不出退化 | 每版存结果,做回归对比 |
| 线上 bad case 不回流 | 同样的错反复犯 | bad case 补进 golden set |
八、小结与下一篇
- Agent 是概率性的,"测一次通过"没意义,要可重复、可量化、盯趋势。
- 评测三层:规则(最省)、LLM-as-judge(判开放题)、人工(最可信、校准裁判),配合用。
- 骨架四件事:golden set → 跑 → 判分 → 回归对比。
- 不只测终答,还要测工具使用、格式、安全、成本、稳定性。
- 线上 bad case 要回流进 golden set,让 Agent 不再犯同样的错。
现在我们能给 Agent 打分了。但评测里冒出两个新指标——花了多少 token、多久出结果。生产环境里,一个 Agent 半夜偷偷烧掉几千块 API 费用、或者慢得用户想砸屏幕,是常有的事。你必须能看见它每一步在干什么、花了多少钱。
下一篇预告——《可观测性与成本:让 Agent 的每一步都可见、可算账》:我们会讲透怎么用 tracing 追踪 Agent 的完整调用链、怎么统计 token 与成本、怎么接 OpenTelemetry / Langfuse 把这些指标可视化。这是 Agent 上生产后你每天都要盯的仪表盘。
参考资料
| 资料 | 来源 |
|---|---|
| OpenAI Evals(开源评测框架) | github.com/openai/evals |
| Anthropic:Building evals(评测方法论) | docs.anthropic.com/en/docs/test-and-evaluate |
| LangSmith Evaluation(LLM-as-judge 实践) | docs.smith.langchain.com/evaluation |
| Your AI Product Needs Evals(Hamel 的经典长文) | hamel.dev/blog/posts/evals |