微调 vs Prompt vs RAG 选型决策
团队里最常见的一场无效争论:新需求来了,有人说「微调一个模型」,有人说「上 RAG」,有人说「改改 prompt 不就行了」。三方吵一下午,谁也说服不了谁——因为大家没意识到,这三个东西根本不解决同一类问题。
更糟的是有个反直觉的坑:很多人想「让模型记住我们公司的知识」,第一反应是微调。但 Gekhman 等人 2024 年的论文(EMNLP,arXiv:2405.05904)给了当头一棒——在新事实上微调,模型学得又慢、还会线性抬高幻觉率。你以为在教它知识,其实在教它编。
一句话概括:事实进 RAG,行为进权重,一次性需求进 prompt。RAG 解决「知道什么」,微调解决「表现成什么样」,两者正交不互斥;而「用微调给模型灌新事实」是头号踩坑,几乎总该改用 RAG。
这篇不做技术综述,直接给你一张能照着走的决策表、一个把规则编码成代码的离线决策顾问,以及每一步的判断阈值。
一、先分清:三者解决的是不同的问题
把它们摆在一起对比,差异一目了然:
| 解决什么 | 改变什么 | 典型场景 | 知识更新 | |
|---|---|---|---|---|
| Prompt | 一次性的任务框定、措辞 | 什么都不训练 | 临时需求、快速验证 | 改提示词即可 |
| RAG | 让模型「知道」外部事实 | 注入 context,不动模型 | 会变的知识、大语料、要引用来源 | 改数据库,实时生效 |
| Fine-tune | 固定模型的「形式/风格/行为」 | 改模型权重 | 稳定输出格式、领域语气、缩短 prompt | 要重新训练,慢 |
记住这条心智模型:知识(knowledge)用检索,行为(behavior)用权重,框定(framing)用提示词。 三者不是竞品,是流水线上的不同工序。
一个最容易被忽略的推论:RAG 和 fine-tune 可以叠加。微调让模型学会「怎么用检索到的内容」,RAG 提供「用什么内容」——这就是 RAFT(arXiv:2403.10131)的思路,后面会讲。
二、头号大坑:别用微调给模型灌事实
这是全篇最重要的一节,因为它是最贵的错误。
直觉陷阱:「我们有 200 条内部术语,微调一下让模型记住不就好了?」
为什么错:Gekhman 等人 2024 年做了对照实验——把「模型原本不知道的新事实」放进微调数据。结果是两个坏消息叠加:
- 学得慢:新知识需要显著更多的训练步数才能被吸收,远慢于模型已知信息的强化。
- 幻觉上升:一旦模型开始拟合这些新事实,它在其它问题上的幻觉率会线性升高——因为你在教它「即使不确定也要自信地输出」。
正确姿势:事实是会变的、需要溯源的、可能出错的东西,天生该待在可检索、可更新、可引用的外部存储里,而不是烧死在权重里。所以看似「行为」的需求,只要它的本质是「让模型记住某些事实」,就应该改判 RAG。
这条规则在 demo 里是最高优先级的护栏,任何其它判断之前先过它。
三、决策阶梯:从便宜到贵,逐级升级
选型的正确顺序是从最轻的手段开始,不够了再往上爬:
graph TD
A["新需求"] --> B{"是想让模型
记住事实吗?"}
B -->|"是"| R["RAG(别用微调灌事实)"]
B -->|"否"| C{"问题类型?"}
C -->|"知识型"| D{"知识会变吗?"}
D -->|"频繁变/语料大"| R
D -->|"小而稳"| E["CAG / 长上下文"]
C -->|"一次性框定"| F["Prompt"]
C -->|"固定行为"| G{"有多少标注样本?"}
G -->|"<10"| F
G -->|"10-49"| H["Few-shot Prompt"]
G -->|"≥50"| I["Fine-tune"]每一档的判断阈值,直接抄:
| 信号 | 阈值 | 结论 |
|---|---|---|
| 标注样本数 | < 10 | 只能 prompt,先攒数据 |
| 标注样本数 | 10 - 49 | few-shot 顶上,微调再等等 |
| 标注样本数 | ≥ 50 | 微调可行(前提是行为问题、非灌事实) |
| 语料规模 | < 50 文档 / < 100K token 且稳定 | CAG / 长上下文,全塞进去省掉检索 |
| 语料规模 | > 1000 文档 / > 1M token | 塞不下,必须 RAG |
| 知识更新频率 | ≤ 月级会变 | RAG,微调跟不上 |
CAG(Cache-Augmented Generation,arXiv:2412.15605)是个常被忽略的中间态:语料又小又稳时,与其搭一套检索链路,不如把全部语料预加载进 context + 开 prompt caching,省掉检索的工程复杂度和延迟。
四、动手:把规则编码成决策顾问
配套代码在 ft-vs-prompt-vs-rag,完全离线(决策全是规则,不调模型),go run . 直接跑。
它把上面的阶梯编码成一个 recommend 函数。用例画像是输入:
type Profile struct {
Name string
Problem Problem // knowledge / behavior / framing
NeedsFacts bool // Gekhman 护栏:这个「行为」其实是想让模型记住事实吗?
KnowledgeChange string // "often"(≤月级更新)/ "stable"
KnowledgeSize string // "small" / "large"
LabeledExamples int // 有多少条高质量标注样本
LowLatency bool // 是否对延迟极敏感
HighVolume bool // 是否高频调用
}
规则 0 是最高优先级的 Gekhman 护栏——任何其它判断之前先拦一道:
// —— 规则 0:Gekhman 护栏。最优先,防止最常见的踩坑。——
if p.Problem == Behavior && p.NeedsFacts {
reasons = append(reasons,
"看似行为问题,实为「想让模型记住事实」——在新事实上微调学得慢且抬高幻觉(Gekhman 2024)",
"改判:事实用检索注入,不要写进权重")
return "RAG(不要用 fine-tune 灌事实)", reasons
}
行为问题则按样本量走阶梯,≥50 才放行微调:
switch {
case p.LabeledExamples < 10:
return "Prompt(样本不足,先跑起来攒数据)", reasons
case p.LabeledExamples < 50:
return "Few-shot Prompt(够示例,微调再等等)", reasons
default:
// 行为/格式固定且不灌事实 → 微调把行为烧进权重
return "Fine-tune(把稳定行为烧进权重)", reasons
}
跑出来的几个代表性判决,正好覆盖所有分支:
▶ 客服机器人,答每周更新的产品文档 → RAG(知识频繁变,微调跟不上)
▶ 内部 FAQ,30 篇几乎不变的政策文档 → CAG / 长上下文(小而稳直接全塞)
▶ 固定 JSON 格式,800 条样本 → Fine-tune(行为问题、样本充足)
▶ 让模型记住 200 条内部术语定义 → RAG(Gekhman 护栏:别用微调灌事实)
▶ 临时活动让文案更活泼 → Prompt(一次性,改提示词即可)
▶ 想固定风格但只有 8 条样本 → Prompt(样本不足,先攒数据)
第 3 条和第 4 条的对比是全篇精华:同样标着「行为」,一个真是格式固定(放行微调),一个是想灌事实(改判 RAG)——区别不在样本多少,而在本质是不是「记住事实」。
五、组合拳:RAG 与微调叠加(RAFT)
当你既要「检索会变的知识」、又要「固定回答的格式和引用方式」时,单招都不够。这时候两招叠加:
- RAG 负责:实时提供正确的、可更新的事实上下文。
- Fine-tune 负责:教会模型「在有检索上下文时,怎么筛选、怎么引用、怎么组织答案」,还能学会忽略检索到的干扰项。
这就是 RAFT(Retrieval-Augmented Fine-Tuning,arXiv:2403.10131):在「带检索上下文的样本」上微调。它不是用微调灌事实(那会踩 Gekhman 的坑),而是用微调固化「使用检索结果的行为」——事实仍然走 RAG 实时注入。这完美呼应了「知识用检索、行为用权重」的主张。
demo 里 combineHint 就在知识型 + 样本充足时给出这条建议。
六、2026 的现实约束:微调越来越难做
在你决定微调之前,先看清生态的现状——这直接影响可行性:
| Provider | 微调现状(需以官方为准) | 含义 |
|---|---|---|
| OpenAI | 正在收缩自助微调平台,转向更受限的定制方案 | 别把长期方案押在自助微调上 |
| Anthropic | 极度保守,仅特定旧模型(如 Claude 3 Haiku via Bedrock)开放 | Claude 系基本用 prompt + RAG |
| 开源模型 | QLoRA(arXiv:2305.14314)让单张 48GB 显卡微调 65B 成为可能 | 要微调,开源权重是主战场 |
一个务实的替代方案是蒸馏(distillation):用强模型生成高质量数据,微调一个小模型来「模仿行为」——这既绕开了「灌事实」的坑(学的是行为不是事实),又降低推理成本。
结论:2026 年,绝大多数团队的最优解是 Prompt + RAG,微调留给「行为高度固定、样本充足、且有开源权重可训」的少数场景。「RAG 已死」是伪命题——死的是朴素 RAG,不是检索本身。
七、决策 Playbook(照着走)
- 先问一句「我是想让模型知道什么,还是表现成什么样?」 知道什么 → RAG;表现成什么样 → 可能微调。
- 过 Gekhman 护栏:如果「表现」的本质是「记住事实」,立刻改判 RAG,不要微调。
- 知识型分流:语料会变或很大 → RAG;小而稳 → CAG / 长上下文。
- 行为型看样本量:< 10 走 prompt,10-49 走 few-shot,≥ 50 才考虑微调。
- 一次性需求:别上重武器,改 prompt。
- 既要知识又要行为:RAG + 微调叠加(RAFT),微调学「怎么用」而非「是什么」。
- 微调前查生态:确认目标 provider 还开放微调,否则转向开源权重或蒸馏。
小结
微调 vs Prompt vs RAG 不是三选一的竞赛,而是解决不同问题的正交工具:RAG 让模型知道会变的事实,微调让模型的行为固定成某种形式,prompt 处理一次性框定。选型按「从便宜到贵」的阶梯走——先 prompt,不够上 RAG,行为固定且样本够(≥50)才微调,两头都要就 RAFT 叠加。最该刻进肌肉记忆的是那条 Gekhman 护栏:别用微调给模型灌新事实,它学得慢还让模型更爱编。2026 年生态在收缩自助微调,多数团队的稳妥解是 Prompt + RAG,把微调留给少数真正的行为固化场景。
参考资料
| 资料 | 来源 |
|---|---|
| Gekhman et al.《Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?》 | arXiv:2405.05904(EMNLP 2024) |
| RAFT: Retrieval-Augmented Fine-Tuning | arXiv:2403.10131 |
| QLoRA: Efficient Finetuning of Quantized LLMs | arXiv:2305.14314 |
| CAG: Cache-Augmented Generation | arXiv:2412.15605 |
| OpenAI Fine-tuning guide | platform.openai.com/docs/guides/fine-tuning |
| Anthropic Fine-tuning(Bedrock) | docs.anthropic.com / aws.amazon.com/bedrock |
| 本篇配套代码 | github.com/hua-ri/agent-learning /main/ft-vs-prompt-vs-rag |