多模态 Agent 完全指南

给发票处理 Agent 接上 GPT vision,demo 惊艳,上线第一个月账单爆炸。查下来发现:每张发票传的是 4K 扫描原图,detail 用了默认的 auto——一张图悄悄吃掉一千多 token,一天几万张,钱就这么烧没了。团队里没人算过「一张图到底值多少 token」这笔账。

多模态 Agent 的难点从来不是「模型能不能看懂图」——GPT、Claude、Gemini 早就能了。难点是工程决策:图怎么传最省、什么时候该用 OCR 而不是贵的视觉模型、抽取出来的结构化数据怎么保证不是模型编的。

一句话概括:多模态 Agent = VLM 感知 + 推理 + 工具行动的闭环,但真正决定成败的是三个纯工程问题——图片按分块(tile)烧 token(高清大图上千 token,降采样是第一杠杆)、干净印刷体用便宜 OCR 而非视觉模型、结构化抽取靠 schema 约束 + 逻辑护栏而非盲信模型。

这篇跳过「模型能力对比」的综述,直接给你能算的 token 成本公式、能照抄的路由规则、能落地的抽取骨架,配一个离线 demo 全程可跑。


一、先分清:多模态 Agent ≠ 多模态大模型

一个常见误解是把「能看图的模型(VLM)」等同于「多模态 Agent」。区别在于闭环:

VLM(视觉语言模型) 多模态 Agent
做什么 单次预测:看图 → 出文本 感知 → 推理 → 调工具 → 观察 → 再感知
感知时机 一次性输入 每一轮都重新感知(工具输出也要看)
输出 一段描述/答案 有界的动作 + 可验证的结果
评估问题 「模型答得对吗」 「系统能不能感知对输入、安全选工具、证明它做了什么」

记住这个 2026 的框架转变:感知是「每轮操作」而非「一次性设置」。 Agent 每一轮都要重读历史、重新感知工具返回的图表/截图——这直接决定了图片 token 成本会反复累加,也就让「控图片成本」成了多模态 Agent 的头号工程问题。

模型选型上(具体版本号和分数请以官方 model card 为准,下面只说方向):Gemini 系是视频和长文档的领头羊(原生处理视频、百万级 context);Claude 强在推理、图表、少幻觉,视频弱;GPT 强在真实场景理解 + 看代码截图;Qwen-VL 是开源自托管首选(隐私敏感场景)。


二、头号工程问题:图片到底烧多少 token

图片不是「一张 = 一点点钱」。模型把图切成分块(tile),按分块数烧 token。这是最容易算错、也最该先算清的账。

OpenAI 的分块算法(经典 GPT-4o 口径):

func openAITokens(w, h int, detail string) int {
    if detail == "low" {
        return 85 // low:无论多大缩到 512x512,固定 85 token
    }
    // high/auto:1) 放进 2048x2048  2) 最短边缩到 768  3) 数 512 分块
    // ... 缩放 ...
    tiles := tilesW * tilesH
    return 85 + 170*tiles // 基座 85 + 每块 170
}

跑一下真实尺寸,触目惊心:

图片                         OpenAI(high)    OpenAI(low)       Claude
手机截图 1179x2556                     1445             85         1700
4K 文档扫描 3840x2160                  1105             85         2550
小缩略图 400x300                        255             85          340

一张手机截图 high 模式 1445 token,low 模式只要 85——差 17 倍。

两条必须刻进肌肉的铁律:

  1. detail=auto 默认按 high 计费。 批量管线不显式设 detail,就是在默认烧最贵的价。(另注:有报告称 GPT-5 可能忽略 detail:low,务必从 response 里核对实际用量。)
  2. 降采样是第一省钱杠杆,但要缩对地方。 两家 provider 都会自动封顶分辨率(OpenAI 封到 2048/768,Claude 封到 1568 长边)。所以你把 4K 缩到 1568 对 OpenAI 一点用没有——它内部已经封到更低了。真正的省钱空间是主动缩到「低于 provider 封顶、但你任务够用」的分辨率:
原图 high:1105 token(provider 内部已封到 2048/768,你不缩它也就这么多)
主动缩到 1024x576 后:765 token
→ 省 31%。文本清晰的图这样做几乎不掉精度。

文本清晰的文档,缩到长边 1024 通常完全够读,省 31%;缩到 768 能省 60%+。别缩过头——低于视觉编码器的有效分辨率会丢失小字。


三、第二个工程问题:OCR 还是视觉模型?

不是所有文档都该丢给贵的视觉模型。生产里的默认姿态是分级路由:

func routeDoc(d doc) (string, string) {
    const confThreshold = 0.80 // OCR 平均置信度低于此 → 视觉模型更划算
    if d.handwritten {
        return "视觉模型", "含手写,传统 OCR 常崩(60-75%),视觉模型 >98%"
    }
    if d.hasTable || d.multiColumn {
        return "视觉模型", "含表格/多栏,OCR 会打乱阅读顺序,视觉模型保结构"
    }
    if d.ocrConfidence < confThreshold {
        return "视觉模型", "OCR 置信度低会静默出错,下游 token 反而更贵"
    }
    return "OCR", "干净印刷体 + 置信度达标,用便宜 OCR 即可"
}

跑出来的路由决策:

标准打印发票        → OCR      (置信度 0.96 达标,便宜)
手写病历单          → 视觉模型  (OCR 常崩)
含复杂表格的财报 PDF → 视觉模型  (OCR 打乱结构)
扫描质量差的旧合同   → 视觉模型  (置信度 0.62 < 0.80)
两栏学术论文        → 视觉模型  (多栏版式)

最反直觉的一点:OCR 失败是「静默」的。 传统 OCR 在复杂文档上只有 60-75% 准确率,一旦出错,乱码会一路往下游放大——一份成本 $0.002 的 OCR 文档,如果 OCR 只有 60% 准,下游纠错反而要花 $0.01。而视觉模型是「优雅降级」。决策规则:默认便宜 OCR,置信度阈值设 ~0.80,只把低置信/版式复杂的升级到视觉模型。


四、第三个工程问题:结构化抽取怎么不被模型编

主流生产模式:图片 in → schema 约束的 JSON out,一次视觉调用,零训练数据,新版式零样本。它替代了老的「OCR + LayoutLM/Donut + 微调」管线。

但视觉模型对图片细节的幻觉是系统性的(会自信地描述不存在的对象、数错数、认错空间关系)。所以抽取骨架必须带护栏:

1) 用 json_schema (strict) 约束输出,字段设 nullable,别锁死枚举——给模型「不确定」的出口
2) 加数值/逻辑护栏:如「明细行之和必须等于总额」,跑校验而非盲信
3) 校验失败 → 升级更强模型或转人工队列(两级路由)
4) 成本路由:单页发票用 Flash/Haiku 级便宜模型约几厘钱,只在校验失败时升级

印刷体发票这套能到 >98% 字段准确率;手写/劣质扫描会掉到 85-95%,务必留校验闸。schema 设计的反幻觉要点:字段可空、不锁死枚举、给歧义留逃生口、下游用之前先校验。


五、多模态 RAG:ColPali 把「页面图」直接当检索单元

传统文档 RAG 有四道有损转换:OCR → 版式分析 → 切块 → embedding。约 80% 的企业 PDF 含表格/图表/复杂版式,OCR 这一步就会损坏信息。

**ColPali(ICLR 2025,基于 PaliGemma)**换了思路:直接把渲染的页面图 embedding 成多向量(patch 级),用 late-interaction(ColBERT 式 MaxSim)打分,完全跳过 OCR。只剩两道转换:渲染 → embedding。

graph LR
    A["PDF 页面"] --> B["渲染成图"]
    B --> C["ColPali 多向量 embedding"]
    C --> D["late-interaction 检索"]

六、2026 落地栈与诚实的局限

分层思考,别指望一个工具搞定:模型 → 路由 → 编排 → 工具 → 可观测性。

必须直说的局限:

  1. 视觉幻觉是架构性的(POPE 对象幻觉基准,前沿模型仍 <90%),不是边缘 case。
  2. 细粒度感知受编码器分辨率限制——小图标、密集版式会显著掉点(这也是 computer-use 的 grounding 瓶颈,详见 Computer Use 专项)。
  3. 通用 VLM 在高风险细粒度任务上仍不如专用模型(有诊断研究:通用最佳 F1 0.519 vs 专用 0.869)。
  4. 过度工程陷阱:团队常在「没想清每层解决什么问题」前就堆层。从单 Agent 起步、按真实价值选模态、框架选型和模型选型分开决策。

小结

多模态 Agent 的成败不在模型能不能看图,而在三个纯工程决策:图片按分块烧 token(高清大图上千,detail=auto 默认最贵,主动降采样到低于 provider 封顶能省 30-60%)、干净印刷体走便宜 OCR 而非视觉模型(OCR 失败是静默的、置信度阈值 0.80 分流)、结构化抽取用 schema 约束 + 逻辑护栏 + 校验失败两级升级(视觉幻觉是系统性的,别盲信)。多模态 RAG 场景 ColPali/ColQwen 把页面图直接当检索单元、跳过有损 OCR。落地从单 Agent 起步,别在想清楚每层职责前就过度堆栈。


参考资料

资料 来源
OpenAI Images and vision(分块 token 算法) developers.openai.com/api/docs/guides/images-vision
Claude Vision(图片 block、降采样) platform.claude.com/docs/en/build-with-claude/vision
Gemini video understanding ai.google.dev/gemini-api/docs/video-understanding
ColPali: Efficient Document Retrieval with VLMs arXiv:2407.01449(ICLR 2025)
ColQwen2 多模态文档 RAG together.ai/blog/multimodal-document-rag-with-llama-3-2-vision-and-colqwen2
OCR vs Vision LLM 抽取权衡 vellum.ai/blog/document-data-extraction-llms-vs-ocrs
GUI-Actor(grounding 瓶颈) arXiv:2506.03143
The AI Agents Stack 2026 oreilly.com/radar/the-ai-agents-stack-2026-edition
本篇配套代码 github.com/hua-ri/agent-learning /main/multimodal-agent