Agent 降本三板斧 Prompt Caching 语义缓存 模型路由

某 fintech 团队的 Agent 在 50 个用户时月账单 5000 美元,扩到 500 用户变成 15000 美元后,项目直接被砍。Gartner 的预测更狠:超过 40% 的 agentic 项目会在 2027 年底前因为成本被叫停。

Agent 天生烧钱——一个 agentic workflow 比单次聊天多耗 5 到 30 倍 token,多 Agent 系统能到 500 倍。更反直觉的是:token 单价一年降了 67%,但 73% 的企业依然超预算(Jevons 悖论——越便宜用得越多)。

一句话概括:降本不是换个便宜模型那么简单,而是三板斧叠成一条流水线——语义缓存直接跳过调用、模型路由把请求送给最便宜的能干模型、Prompt Caching 折扣必然发生调用的输入成本。单招省 20-30%,三招叠加常达 50-70%。

这篇把三招讲透:各自的机制、真实定价数字、什么时候有效什么时候反而更贵,以及组合顺序。配一个完全离线的 Go demo,三招的省钱算法都能亲手跑出来。


一、先看清:三招攻击的是不同的成本源

很多人把这三个混为一谈,其实它们在完全不同的层:

招式 在哪一层 省什么 命中后
语义缓存 应用/客户端侧 消除整个 LLM 调用 调用根本不发生
模型路由 应用侧 把请求送到最便宜可用模型 调用发生,但用便宜模型
Prompt Caching Provider 侧 降低输入 token 成本(前缀复用) 调用仍发生,但输入更便宜

它们互补,不竞争。 心智模型是一条流水线,每个请求依次过滤:

graph LR
    A["请求"] --> B{"语义缓存
命中?"} B -->|"命中"| C["直接返回
跳过 LLM"] B -->|"未命中"| D["模型路由
选最便宜的能干模型"] D --> E["Prompt Caching
折扣静态前缀"] E --> F["LLM 调用"]

一条贯穿全文的铁律:所有 caching 只折扣「输入」侧,输出 token 永远原价。 记住这句,能帮你避开一半的算错账。


二、板斧一:Prompt Caching(前缀缓存)

机制:Provider 缓存 prompt 前缀的 KV attention 状态。同样的前缀字节再来,从缓存读而不重算。这是前缀缓存,顺序至关重要——前缀里差一个 token 就整段 miss。

两家做法不同:

Anthropic OpenAI
触发 手动标 cache_control: {type: ephemeral} 自动,零配置
折扣(read) 0.1x(省 90%) 最高 0.1x(省 90%)
写入费(write) 5min 1.25x / 1hr 2x GPT-5.6+ 1.25x
最小 token 多为 1024 1024
TTL 5 分钟或 1 小时可选 5-10 分钟不活跃后清

结构铁律:静态内容放前面(tools → system → few-shot),动态内容放最后。因为前缀匹配是从头逐字节比的,把每次都变的时间戳、随机 ID 放前面,会让整个缓存静默失效。

回本数学(Anthropic 官方口径):5min 缓存,一次 read 就回本(1.25x write + 0.1x read = 1.35x < 两次未缓存的 2x)。

看计算器代码——多轮对话里,静态前缀只写一次、之后每轮读缓存:

const base = 3.0        // base input $/MTok
const staticTok = 4000  // system+tools+few-shot 静态前缀
const dynamicTok = 500  // 每轮变化的部分
const turns = 10

// 无缓存:每轮都全价重算 静态+动态
noCache := float64(turns) * float64(staticTok+dynamicTok) / 1e6 * base
// 有缓存:第1轮写(1.25x静态)+动态全价;之后每轮 读(0.1x静态)+动态全价
writeCost := float64(staticTok)/1e6*base*1.25 + float64(dynamicTok)/1e6*base
readPerTurn := float64(staticTok)/1e6*base*0.1 + float64(dynamicTok)/1e6*base
withCache := writeCost + float64(turns-1)*readPerTurn

跑出来 10 轮对话省 70%。但警告:命中率太低时,Anthropic 的 write 溢价会让你反而更贵——一直付膨胀的写入费却没有足够的读来摊销。命中率低于 40% 通常是结构问题(动态内容混进了前缀)。

最有效:多轮 Agent(system+tools 反复出现)、长系统提示、稳定 context 的 RAG、工具定义。Agent 的工具 schema 几乎每次相同,命中率常超 60%。


三、板斧二:语义缓存(Semantic Cache)

机制:按含义缓存而非精确字符串。把 query 做 embedding → 向量相似度检索历史 query → 相似度超阈值就直接返回缓存响应,完全跳过 LLM。"pro 版多少钱"和"pro 版的价格是多少"应该命中同一条缓存。

和 Prompt Caching 的本质区别:Prompt Caching 让调用更便宜,语义缓存让调用不发生。

demo 用 Jaccard 词汇重叠做教学 proxy(真实系统用 embedding 余弦相似度,Jaccard 与 cosine 相关 r≈0.79,能追趋势但会系统性低估语义):

// jaccard 词汇重叠度 = 交集/并集。是语义相似的保守下界。
func jaccard(a, b map[string]bool) float64 {
    inter := 0
    for w := range a {
        if b[w] { inter++ }
    }
    union := len(a) + len(b) - inter
    return float64(inter) / float64(union)
}

跑起来有个绝佳的教学瞬间:

[HIT ] pro 版 多少 钱         → Pro 版每月 99 元(跳过 LLM)
[MISS] pro 版 的 价格 是 多少    → 调用 LLM……

第 2 条明明是同一个问题,Jaccard 却漏判了。 这正是"为什么真实系统必须用 embedding 而非词汇重叠"的活教材——Jaccard 处理不了同义词、改写、词序、词形变化。

阈值调优是核心权衡:太松 → 服务错误答案(false hit),太严 → 命中率低。保守起步(距离 0.1-0.2),instrument false-hit 率,再逐步放松。

适用:高重复的 FAQ 类查询。危险:个性化(不同用户同问题应有不同答案)、时间敏感、agentic 多步任务——这些场景乱命中缓存会给出错误的陈旧答案,比不缓存危害更大。


四、板斧三:模型路由(Model Router)

机制:把每个 query 路由到"能搞定它的最便宜模型"。基础是一个生产事实——60-75% 的查询是简单的,只有 5-15% 是难的,让便宜模型接住大多数就能大幅降本。

三种范式:分类器(BERT/embedding 预测难度)、级联(先试便宜的,低置信度再升级)、LLM-as-router(GPT-5 内置的就是这种)。

demo 用最简的复杂度启发式:

// route 命中「难」信号就上强模型,否则便宜模型接住。
func route(query string) model {
    hardSignals := []string{"写代码", "证明", "设计架构", "分析原因", "debug", "推导"}
    for _, sig := range hardSignals {
        if strings.Contains(query, sig) {
            return strong
        }
    }
    if len([]rune(query)) > 40 { // 长问题往往更复杂
        return strong
    }
    return cheap
}

跑出来路由后省 55%。代表性数字:RouteLLM(LMSYS,已被 ICLR 2025 收录)在 MT Bench 上降本 85%、保持 95% GPT-4 质量,只把 14% 的 query 送给强模型。

关键 caveat:那个 85% 是 benchmark-specific,不是普适保证。真实路由必须配质量监控闭环——否则你会得到"dashboard 好看但用户在流失"。生态里 RouteLLM/Not Diamond/Martian 做决策,LiteLLM/Portkey/OpenRouter 这类 gateway 已内置路由,起步先用 gateway 的即可。


五、动手:三招一起跑

配套代码在 cost-reduction,完全离线,go run . 直接出三招的省钱账:

板斧一 语义缓存:命中 1/3,省 1 次调用(并演示 Jaccard 漏判改写)
板斧二 模型路由:全用强模型 $0.030 → 路由后 $0.0135,省 55%
板斧三 前缀缓存:10 轮对话 $0.135 → $0.0408,省 70%

三个 demo 都是合理的教学近似,但各有边界要点明:Jaccard 是 embedding 的保守下界(会漏改写)、启发式路由是训练分类器的最简版、缓存计算器用的是真实乘数但要体现回本点。


六、默认降本 Playbook(按投入产出比排序)

不要三招一起上,按这个顺序做:

  1. 先开 Prompt Caching(最低成本):OpenAI/Gemini 自动/隐式零改动就有 90% 输入折扣;Anthropic 手动标 breakpoint,把 tools→system→few-shot 放前面、动态放后。
  2. 再上 Model Routing(省 30-50%):先用级联或启发式分类,用 gateway 内置路由起步,需要更精再上 RouteLLM/Not Diamond。
  3. 最后加 Semantic Cache:只对高重复、非个性化、非时间敏感的查询层加,保守阈值起步,监控 false-hit。
  4. 横向补一刀:agentic 场景优先"减少 agentic 轮次 + 缩小 context"(详见第 04 篇),并按层 instrument 命中率——谁监控,谁才真拿到定价表承诺的省钱(详见第 09 篇)。

小结

Agent 降本的正确姿势是三招叠成流水线:语义缓存在应用层消除整个调用(但只对高重复非个性化查询,且真实系统要用 embedding 而非词汇重叠),模型路由把请求送到最便宜的能干模型(60-75% 查询是简单的,但要配质量监控),Prompt Caching 在 Provider 层折扣静态前缀(静态在前动态在后,命中率太低会因 write 溢价反而更贵)。按 Caching → Routing → Semantic Cache 的顺序上,单招 20-30%、三招 50-70%。记住那句最省事的铁律——所有缓存只省输入,输出永远原价。


参考资料

资料 来源
Anthropic Prompt Caching platform.claude.com/docs/en/build-with-claude/prompt-caching
OpenAI Prompt Caching developers.openai.com/api/docs/guides/prompt-caching
Gemini Context Caching cloud.google.com/vertex-ai/generative-ai/docs/context-cache
RouteLLM(LMSYS,ICLR 2025) lmsys.org/blog/2024-07-01-routellm / arXiv:2406.18665
GPTCache github.com/zilliztech/GPTCache
vCache(每条缓存自适应阈值) arXiv:2603.03301
Introducing GPT-5(内置 router) openai.com/index/introducing-gpt-5
本篇配套代码 github.com/hua-ri/agent-learning /main/cost-reduction