多模态 Agent 完全指南
给发票处理 Agent 接上 GPT vision,demo 惊艳,上线第一个月账单爆炸。查下来发现:每张发票传的是 4K 扫描原图,detail 用了默认的 auto——一张图悄悄吃掉一千多 token,一天几万张,钱就这么烧没了。团队里没人算过「一张图到底值多少 token」这笔账。
多模态 Agent 的难点从来不是「模型能不能看懂图」——GPT、Claude、Gemini 早就能了。难点是工程决策:图怎么传最省、什么时候该用 OCR 而不是贵的视觉模型、抽取出来的结构化数据怎么保证不是模型编的。
一句话概括:多模态 Agent = VLM 感知 + 推理 + 工具行动的闭环,但真正决定成败的是三个纯工程问题——图片按分块(tile)烧 token(高清大图上千 token,降采样是第一杠杆)、干净印刷体用便宜 OCR 而非视觉模型、结构化抽取靠 schema 约束 + 逻辑护栏而非盲信模型。
这篇跳过「模型能力对比」的综述,直接给你能算的 token 成本公式、能照抄的路由规则、能落地的抽取骨架,配一个离线 demo 全程可跑。
一、先分清:多模态 Agent ≠ 多模态大模型
一个常见误解是把「能看图的模型(VLM)」等同于「多模态 Agent」。区别在于闭环:
| VLM(视觉语言模型) | 多模态 Agent | |
|---|---|---|
| 做什么 | 单次预测:看图 → 出文本 | 感知 → 推理 → 调工具 → 观察 → 再感知 |
| 感知时机 | 一次性输入 | 每一轮都重新感知(工具输出也要看) |
| 输出 | 一段描述/答案 | 有界的动作 + 可验证的结果 |
| 评估问题 | 「模型答得对吗」 | 「系统能不能感知对输入、安全选工具、证明它做了什么」 |
记住这个 2026 的框架转变:感知是「每轮操作」而非「一次性设置」。 Agent 每一轮都要重读历史、重新感知工具返回的图表/截图——这直接决定了图片 token 成本会反复累加,也就让「控图片成本」成了多模态 Agent 的头号工程问题。
模型选型上(具体版本号和分数请以官方 model card 为准,下面只说方向):Gemini 系是视频和长文档的领头羊(原生处理视频、百万级 context);Claude 强在推理、图表、少幻觉,视频弱;GPT 强在真实场景理解 + 看代码截图;Qwen-VL 是开源自托管首选(隐私敏感场景)。
二、头号工程问题:图片到底烧多少 token
图片不是「一张 = 一点点钱」。模型把图切成分块(tile),按分块数烧 token。这是最容易算错、也最该先算清的账。
OpenAI 的分块算法(经典 GPT-4o 口径):
func openAITokens(w, h int, detail string) int {
if detail == "low" {
return 85 // low:无论多大缩到 512x512,固定 85 token
}
// high/auto:1) 放进 2048x2048 2) 最短边缩到 768 3) 数 512 分块
// ... 缩放 ...
tiles := tilesW * tilesH
return 85 + 170*tiles // 基座 85 + 每块 170
}
跑一下真实尺寸,触目惊心:
图片 OpenAI(high) OpenAI(low) Claude
手机截图 1179x2556 1445 85 1700
4K 文档扫描 3840x2160 1105 85 2550
小缩略图 400x300 255 85 340
一张手机截图 high 模式 1445 token,low 模式只要 85——差 17 倍。
两条必须刻进肌肉的铁律:
detail=auto默认按high计费。 批量管线不显式设detail,就是在默认烧最贵的价。(另注:有报告称 GPT-5 可能忽略detail:low,务必从 response 里核对实际用量。)- 降采样是第一省钱杠杆,但要缩对地方。 两家 provider 都会自动封顶分辨率(OpenAI 封到 2048/768,Claude 封到 1568 长边)。所以你把 4K 缩到 1568 对 OpenAI 一点用没有——它内部已经封到更低了。真正的省钱空间是主动缩到「低于 provider 封顶、但你任务够用」的分辨率:
原图 high:1105 token(provider 内部已封到 2048/768,你不缩它也就这么多)
主动缩到 1024x576 后:765 token
→ 省 31%。文本清晰的图这样做几乎不掉精度。
文本清晰的文档,缩到长边 1024 通常完全够读,省 31%;缩到 768 能省 60%+。别缩过头——低于视觉编码器的有效分辨率会丢失小字。
三、第二个工程问题:OCR 还是视觉模型?
不是所有文档都该丢给贵的视觉模型。生产里的默认姿态是分级路由:
func routeDoc(d doc) (string, string) {
const confThreshold = 0.80 // OCR 平均置信度低于此 → 视觉模型更划算
if d.handwritten {
return "视觉模型", "含手写,传统 OCR 常崩(60-75%),视觉模型 >98%"
}
if d.hasTable || d.multiColumn {
return "视觉模型", "含表格/多栏,OCR 会打乱阅读顺序,视觉模型保结构"
}
if d.ocrConfidence < confThreshold {
return "视觉模型", "OCR 置信度低会静默出错,下游 token 反而更贵"
}
return "OCR", "干净印刷体 + 置信度达标,用便宜 OCR 即可"
}
跑出来的路由决策:
标准打印发票 → OCR (置信度 0.96 达标,便宜)
手写病历单 → 视觉模型 (OCR 常崩)
含复杂表格的财报 PDF → 视觉模型 (OCR 打乱结构)
扫描质量差的旧合同 → 视觉模型 (置信度 0.62 < 0.80)
两栏学术论文 → 视觉模型 (多栏版式)
最反直觉的一点:OCR 失败是「静默」的。 传统 OCR 在复杂文档上只有 60-75% 准确率,一旦出错,乱码会一路往下游放大——一份成本 $0.002 的 OCR 文档,如果 OCR 只有 60% 准,下游纠错反而要花 $0.01。而视觉模型是「优雅降级」。决策规则:默认便宜 OCR,置信度阈值设 ~0.80,只把低置信/版式复杂的升级到视觉模型。
四、第三个工程问题:结构化抽取怎么不被模型编
主流生产模式:图片 in → schema 约束的 JSON out,一次视觉调用,零训练数据,新版式零样本。它替代了老的「OCR + LayoutLM/Donut + 微调」管线。
但视觉模型对图片细节的幻觉是系统性的(会自信地描述不存在的对象、数错数、认错空间关系)。所以抽取骨架必须带护栏:
1) 用 json_schema (strict) 约束输出,字段设 nullable,别锁死枚举——给模型「不确定」的出口
2) 加数值/逻辑护栏:如「明细行之和必须等于总额」,跑校验而非盲信
3) 校验失败 → 升级更强模型或转人工队列(两级路由)
4) 成本路由:单页发票用 Flash/Haiku 级便宜模型约几厘钱,只在校验失败时升级
印刷体发票这套能到 >98% 字段准确率;手写/劣质扫描会掉到 85-95%,务必留校验闸。schema 设计的反幻觉要点:字段可空、不锁死枚举、给歧义留逃生口、下游用之前先校验。
五、多模态 RAG:ColPali 把「页面图」直接当检索单元
传统文档 RAG 有四道有损转换:OCR → 版式分析 → 切块 → embedding。约 80% 的企业 PDF 含表格/图表/复杂版式,OCR 这一步就会损坏信息。
**ColPali(ICLR 2025,基于 PaliGemma)**换了思路:直接把渲染的页面图 embedding 成多向量(patch 级),用 late-interaction(ColBERT 式 MaxSim)打分,完全跳过 OCR。只剩两道转换:渲染 → embedding。
graph LR
A["PDF 页面"] --> B["渲染成图"]
B --> C["ColPali 多向量 embedding"]
C --> D["late-interaction 检索"]- 何时胜过 OCR+文本 RAG:图表、表格、扫描件、多栏、非拉丁文字——这些 OCR 会损坏的场景。
- ColQwen = 同样方案换 Qwen2-VL 骨架;评测基准是 ViDoRe。
- 别用它:纯文本 PDF、延迟敏感路径。代价是多向量存储大(每页约 1000 个 patch 向量)、推理比文本 embedding 慢。
- 纠错:ColPali 不是 Anthropic 做的——名字 = ColBERT 式 late interaction + PaliGemma 骨架。
六、2026 落地栈与诚实的局限
分层思考,别指望一个工具搞定:模型 → 路由 → 编排 → 工具 → 可观测性。
- 编排框架:LangGraph(有状态、checkpoint、人工闸);Google ADK 是多模态专线(Gemini + Vertex),但年轻,适合 GCP 原生团队;认准某家 provider 就用它的 Agents SDK。注意 AutoGen 已进入维护模式,并入 Microsoft Agent Framework。
- 协议:MCP 已标准化工具调用;跨 Agent 通信(A2A/ACP)尚未成气候,多 Agent 协调还得自己写。
必须直说的局限:
- 视觉幻觉是架构性的(POPE 对象幻觉基准,前沿模型仍 <90%),不是边缘 case。
- 细粒度感知受编码器分辨率限制——小图标、密集版式会显著掉点(这也是 computer-use 的 grounding 瓶颈,详见 Computer Use 专项)。
- 通用 VLM 在高风险细粒度任务上仍不如专用模型(有诊断研究:通用最佳 F1 0.519 vs 专用 0.869)。
- 过度工程陷阱:团队常在「没想清每层解决什么问题」前就堆层。从单 Agent 起步、按真实价值选模态、框架选型和模型选型分开决策。
小结
多模态 Agent 的成败不在模型能不能看图,而在三个纯工程决策:图片按分块烧 token(高清大图上千,detail=auto 默认最贵,主动降采样到低于 provider 封顶能省 30-60%)、干净印刷体走便宜 OCR 而非视觉模型(OCR 失败是静默的、置信度阈值 0.80 分流)、结构化抽取用 schema 约束 + 逻辑护栏 + 校验失败两级升级(视觉幻觉是系统性的,别盲信)。多模态 RAG 场景 ColPali/ColQwen 把页面图直接当检索单元、跳过有损 OCR。落地从单 Agent 起步,别在想清楚每层职责前就过度堆栈。
参考资料
| 资料 | 来源 |
|---|---|
| OpenAI Images and vision(分块 token 算法) | developers.openai.com/api/docs/guides/images-vision |
| Claude Vision(图片 block、降采样) | platform.claude.com/docs/en/build-with-claude/vision |
| Gemini video understanding | ai.google.dev/gemini-api/docs/video-understanding |
| ColPali: Efficient Document Retrieval with VLMs | arXiv:2407.01449(ICLR 2025) |
| ColQwen2 多模态文档 RAG | together.ai/blog/multimodal-document-rag-with-llama-3-2-vision-and-colqwen2 |
| OCR vs Vision LLM 抽取权衡 | vellum.ai/blog/document-data-extraction-llms-vs-ocrs |
| GUI-Actor(grounding 瓶颈) | arXiv:2506.03143 |
| The AI Agents Stack 2026 | oreilly.com/radar/the-ai-agents-stack-2026-edition |
| 本篇配套代码 | github.com/hua-ri/agent-learning /main/multimodal-agent |