Agent开发完全实战指南(八)评测Eval

前七篇我们把 Agent 越造越强:会用工具、有记忆、能查知识库、会拉一帮子 Agent 并行干活。但有个问题一直被我们绕过去了——

你改了个提示词,是变好了还是变差了?换了个更便宜的模型,准确率掉了多少?给 RAG 调了 Top-K,检索到底准了没?

如果你的答案是"我跑了两个例子,感觉还行",那你就是在生产环境裸奔。今天用户问 A 你答对了,明天他问 B 你翻车了,你甚至不知道自己翻了车。

评测(Eval)的一句话概括:给 Agent 建一套可重复、可量化的「考试系统」——用固定题库打分,让「好还是坏」从拍脑袋的感觉,变成能看趋势、能卡红线的数字。

没有 eval 的 Agent 开发,本质是盲人开车。 这是 demo 和生产产品之间最硬的一道分水岭。


一、为什么 Agent 特别需要评测

传统软件是确定的:输入 x,永远输出 y,写好单元测试就完事。但 LLM 是概率性的:同样的输入,今天这么答,明天那么答,换个模型全变样。

维度 传统软件测试 Agent 评测
输出 确定,精确匹配 概率性,需语义/规则判断
通过标准 对 or 错 打分、分档、多维度
回归 代码不变结果不变 换模型/提示词就可能全变
判分方式 assert 相等 规则 + LLM-as-judge + 人工

关键洞察:Agent 的非确定性意味着「测一次通过」毫无意义。你需要的是一个能反复跑、能横向对比、能盯住趋势的评测集——每次改动都拿它过一遍,用数字说话。


二、评测的三个层次

别一上来就追求高大上。评测按投入从低到高分三层,先做最省事的规则评测,再逐步上模型裁判:

层次 怎么判分 适用 成本
规则评测(Rule-based) 精确匹配、关键词包含、正则、JSON 字段校验 有明确对错的任务(分类、抽取、格式) 最低,秒出结果
LLM-as-judge 让另一个(更强的)模型按标准打分 开放式回答、质量评估(有用性、准确性) 中,每条一次 API 调用
人工评测 人来标注打分 最终验收、建 golden set、校准 judge 最高,但最可信

关键洞察:三层不是二选一,而是配合用。规则能判的绝不用模型(又快又准又免费);规则判不了的开放题,才交给 LLM-as-judge;judge 本身准不准,则靠少量人工标注来校准。


三、核心概念:golden set 与四个动作

评测系统的骨架就四件事:

flowchart LR
    G[(Golden Set
标准题库)] --> Run[跑 Agent
逐题产出答案] Run --> Score[判分
规则/LLM裁判] Score --> Report[汇总报告
通过率/分维度得分] Report --> Compare[对比历史
回归:变好还是变差]

四、动手:写一个最小评测框架

我们做一个离线可跑的评测框架:定义 golden set、逐题判分、出报告、算通过率。判分同时演示规则和**(模拟的)LLM-as-judge**两种方式。

4.1 评测用例与结果的数据结构

// TestCase 一道评测题
type TestCase struct {
	ID       string
	Input    string   // 喂给 Agent 的输入
	Expected string   // 期望答案(规则评测用)
	Keywords []string // 期望答案必须包含的关键词(宽松匹配用)
}

// Result 一道题的评测结果
type Result struct {
	ID     string
	Pass   bool
	Score  float64
	Detail string
}

4.2 两种判分器

规则判分——精确匹配或关键词覆盖,又快又免费:

// scoreByRule 规则判分:期望答案完全匹配得 1 分;
// 否则按关键词命中比例给分,命中全部关键词也算通过。
func scoreByRule(expected string, keywords []string, actual string) Result {
	if strings.TrimSpace(actual) == strings.TrimSpace(expected) {
		return Result{Pass: true, Score: 1.0, Detail: "精确匹配"}
	}
	if len(keywords) == 0 {
		return Result{Pass: false, Score: 0, Detail: "不匹配且无关键词"}
	}
	hit := 0
	for _, kw := range keywords {
		if strings.Contains(actual, kw) {
			hit++
		}
	}
	score := float64(hit) / float64(len(keywords))
	return Result{
		Pass:   score >= 1.0, // 命中全部关键词才算过
		Score:  score,
		Detail: fmt.Sprintf("关键词命中 %d/%d", hit, len(keywords)),
	}
}

LLM-as-judge——让更强的模型按标准打分。真实实现是给 judge 模型发一段结构化提示词,这里用桩演示它的接口形态:

// scoreByLLMJudge 让另一个模型当裁判打分(0~1)。
// 真实实现:构造 judge 提示词(题目+标准答案+待评答案+评分标准),
// 调用一个更强的模型,要求它只输出结构化分数。这里用桩演示接口。
func scoreByLLMJudge(input, expected, actual string) Result {
	// judgePrompt := fmt.Sprintf(`你是严格的评分员。
	// 问题:%s
	// 参考答案:%s
	// 待评答案:%s
	// 请按「准确性」打分,只输出 0~1 之间的小数。`, input, expected, actual)
	// score := callJudgeLLM(judgePrompt)  // 真实场景在此调用 API

	// —— 桩:用一个粗糙的相似度模拟 judge 的输出 ——
	score := crudeSimilarity(expected, actual)
	return Result{
		Pass:   score >= 0.6,
		Score:  score,
		Detail: fmt.Sprintf("LLM-judge 打分 %.2f(此为模拟)", score),
	}
}

关键洞察:LLM-as-judge 的成败在提示词。要给裁判明确的「评分维度 + 打分标准 + 输出格式」,并且强制它只输出分数(或结构化 JSON),否则你解析不了它的结果。judge 最好用比被测 Agent 更强的模型,且自己也要被少量人工标注校准。

4.3 跑整个评测集并出报告

// runEval 跑完整个 golden set,返回每题结果和总通过率
func runEval(cases []TestCase, agent func(string) string) ([]Result, float64) {
	results := make([]Result, 0, len(cases))
	passed := 0
	for _, c := range cases {
		actual := agent(c.Input) // 跑 Agent 拿实际输出
		r := scoreByRule(c.Expected, c.Keywords, actual)
		r.ID = c.ID
		if r.Pass {
			passed++
		}
		results = append(results, r)
	}
	passRate := float64(passed) / float64(len(cases))
	return results, passRate
}

4.4 回归对比:这次改动是变好还是变差

评测最大的价值不是单次分数,而是和上一版比。哪些题从「过」变成了「不过」,就是 regression(回归退化),必须重点看:

// compareRegression 对比两次评测,找出退化的题(上次过、这次挂)
func compareRegression(prev, curr []Result) []string {
	prevPass := map[string]bool{}
	for _, r := range prev {
		prevPass[r.ID] = r.Pass
	}
	var regressed []string
	for _, r := range curr {
		if prevPass[r.ID] && !r.Pass { // 上次过,这次挂
			regressed = append(regressed, r.ID)
		}
	}
	return regressed
}

完整代码见 code/08-eval/,离线可跑:内置一个 golden set 和两版"Agent",演示判分、通过率、回归对比。


五、评测该测什么维度

别只测"答案对不对"。一个生产 Agent 至少关心这几维:

维度 测什么 怎么测
准确性 答案对不对 规则匹配 / LLM-judge
工具使用 该调工具时调没调、参数对不对 检查 tool_calls 序列
格式合规 输出是不是合法 JSON/指定结构 schema 校验
安全 有没有被越狱、泄露、注入 红队用例 + 规则拦截
成本/延迟 花了多少 token、多久出结果 埋点统计(第 09 篇)
稳定性 同一题多次跑结果一致吗 跑 N 次看方差

关键洞察:Agent 评测不只看「终答对不对」,还要看「过程对不对」——它是不是调了正确的工具、走了合理的步骤。终答蒙对但过程全错的 Agent,换个题就崩。


六、决策指南:评测怎么起步

你的处境 建议
还没有任何评测 立刻建 20-50 条 golden set,先跑规则评测
任务有明确对错(分类/抽取) 规则评测足够,别上 LLM-judge
开放式问答、要判质量 上 LLM-as-judge,先人工校准裁判
每次改提示词都心里没底 把 eval 接进 CI,改动即回归
golden set 越来越大跑得慢/贵 分层:小集快跑(每次),全集慢跑(发布前)
线上出了 bad case 把它补进 golden set,从此不再翻同样的车

七、常见坑速查

坑 后果 正确做法
golden set 质量差 评测结果误导决策 宁缺毋滥,人工把关
只测终答不测过程 蒙对的 Agent 上线即崩 加工具调用/步骤校验
LLM-judge 提示词模糊 裁判打分飘、不可复现 明确评分标准+输出格式
judge 用和被测同款模型 自己夸自己,虚高 judge 用更强模型 + 人工校准
评测只跑一次不留档 无法对比、看不出退化 每版存结果,做回归对比
线上 bad case 不回流 同样的错反复犯 bad case 补进 golden set

八、小结与下一篇

现在我们能给 Agent 打分了。但评测里冒出两个新指标——花了多少 token、多久出结果。生产环境里,一个 Agent 半夜偷偷烧掉几千块 API 费用、或者慢得用户想砸屏幕,是常有的事。你必须能看见它每一步在干什么、花了多少钱。

下一篇预告——《可观测性与成本:让 Agent 的每一步都可见、可算账》:我们会讲透怎么用 tracing 追踪 Agent 的完整调用链、怎么统计 token 与成本、怎么接 OpenTelemetry / Langfuse 把这些指标可视化。这是 Agent 上生产后你每天都要盯的仪表盘。


参考资料

资料 来源
OpenAI Evals(开源评测框架) github.com/openai/evals
Anthropic:Building evals(评测方法论) docs.anthropic.com/en/docs/test-and-evaluate
LangSmith Evaluation(LLM-as-judge 实践) docs.smith.langchain.com/evaluation
Your AI Product Needs Evals(Hamel 的经典长文) hamel.dev/blog/posts/evals