只用十二分之一的数据，开源视觉模型反超了 GPT-4o

2023 年 11 月，多模态评测 MMMU 榜单上线。当时最强的 GPT-4V 拿了 55 分，最好的开源模型只有 34 分。

一年多之后，局面彻底翻转。OpenAI 的 o1 预览版冲到 78 分，紧随其后的是上海人工智能实验室 OpenGVLab 的开源模型 InternVL 2.5，它压过了 5 月版的 GPT-4o、初版 Claude 3.5 Sonnet 和 Gemini 1.5 Pro。更狠的是成本：它的训练数据只有 1200 亿 token，对手 Qwen2VL 花了约 1.4 万亿 token 才达到相近水平，差了 12 倍。

这是播客《Cognitive Revolution》2025 年 1 月 3 日一期节目的内容。主持人 Nathan Labenz 请来 AI 咨询公司 Veratai 的创始人 Will Hardman，把视觉语言模型（VLM）这个领域从头到尾拆了一遍。Will 为这期节目准备了 40 个小时，Nathan 说他产出的提纲是节目史上最详尽的参考资料。

VLM 就是让 AI 看懂图片的技术。Google Gemini 团队最近提到一个观察：用大语言模型做开发的人很多，用视觉语言模型的还很少，他们判断这是接下来的增长点。现成的用例不少，医疗助手要结合影像和病史给建议，内容审核要判断图文是否违规，保险定损要核对车损照片和报案描述对不对得上。

Will 还给了一个更长的视角：学会融合视觉和语言两种模态，是将来融合音频、触觉、激光雷达等一切模态的第一步。未来的机器人要能做饭，就得同时处理十几种传感器传来的信息，VLM 是练手的第一仗。至于多模态理解算不算通往 AGI 的必经之路，节目里没有定论。反方的理由是纯语言模型已经展现出高层抽象和世界模型，性能看不到明显天花板；Nathan 的态度很务实：不管哲学上怎么争，多模态显然是阻力最小的那条路。

先补两块地基：ViT 和 CLIP

聊 VLM 之前，得先认识两个反复出场的老朋友。

第一个是视觉 transformer，简称 ViT。2020 年 Google 发表论文《一张图片值 16x16 个单词》。在那之前，视觉模型的主流是卷积神经网络，靠一层层滤波器从图片里提取越来越全局的特征。Google 团队问了个简单的问题：语言模型那套 transformer 配方，能不能直接拿来处理图片？

做法很直接。把图片切成不重叠的小块，每块 16x16 像素，线性嵌入成一串 token，喂给 transformer 编码器。注意力是全对全的，每个小块都能看到其他所有小块。序列最前面拼一个分类 token，训练目标就是图像分类。关键发现：模型够大时，这套配方打赢了当时的卷积网络。

几个数字值得记住。原始 ViT 的输入固定为 224x224 像素，16x16 一切，正好切出 196 个视觉 token。后来做 VLM 的惯例是把整段隐藏状态全部取出来当图像编码，196 个 token 全都保留。ViT-H 大约 6 亿参数，ViT-G 大约 18 亿，后面会用到。

图像 token 和语言 token 有个本质区别。语言的 token 对应固定词表，能查码本还原成文字；图像 token 存在于连续空间，没有词表，不需要量化，照样跑注意力。Nathan 补充了一个当年的痛点：早期开发者得自己把图压成模型要的尺寸，压扁拉长都不管，效果居然还行。

第二个是 CLIP，OpenAI 2021 年的模型。思路是拿海量图文对做对比学习：图片过视觉编码器，文字过文本编码器，配对的向量余弦相似度拉高，不配对的压低。一个 batch 里有 N 个真配对和 N 平方减 N 个假配对，损失函数同时惩罚两种错误。

CLIP 的深远影响在于，它的视觉编码器已经被训练得和语言空间对齐过。后来的 VLM 团队几乎都拿 CLIP 当起点，等于走完了三分之二的路。

Nathan 对 CLIP 有切身体会。他的公司 Waymark 给小企业做营销视频，早期就用 CLIP 从图库里挑图。给底特律一家披萨店做视频，搜 pizza，文字里印着 pizza 字样的图片会浮到最顶上，各种奇怪的瑕疵层出不穷。他还发现 CLIP 完全没有美学信号，网上很少有人给图片配文说「这张真美」，所以它懂内容，不懂好坏。而小企业网上挂的图质量参差不齐，营销场景恰恰需要挑出好看的。

Flamingo：把图片倒进搅拌机，居然还能用

2022 年，DeepMind 发布 Flamingo，后来被形容为 VLM 界的 GPT-3 时刻。这是第一个值得细看的 VLM 架构样本。

通用模式从这里定型：文本走 tokenizer，图片走视觉编码器，中间选一个语言模型当骨干，负责所有推理。剩下的问题只有一个，两边怎么接。

Flamingo 的答案是冻结 Chinchilla 语言模型，每隔 4 个 transformer block 插入一层交叉注意力，让语言模型随时去查视觉编码器的输出。但这里冒出两个麻烦：输入里图片数量和尺寸都不固定，视觉 token 的数量就不固定，而交叉注意力的维度是死的；视觉 token 动辄几百个，全算一遍注意力太贵。

DeepMind 的解法叫 Perceiver Resampler。它是个独立的小模型，内置 64 个可学习的查询向量，注意力的计算量从序列长度的平方降到序列长度乘 64，不管进来多少视觉 token，出去永远是固定的 64 个。

Will 承认自己至今觉得这东西能工作很神奇。

我感觉这就是把图片倒进搅拌机，按下开关，等训练结束，重要的特征居然还留在里面，没有被打成一团浆糊。至少对我来说，面对这种精密机制，直觉基本没用。

交叉注意力有个代价。Hugging Face 团队测算过，70 亿参数级别的语言模型，插入交叉注意力层后新增的训练参数约占 25%，而简单投影方案只要 10%。

训练本身不复杂：照常做下一个 token 预测，文本里图片出现的位置放一个占位符，模型看到占位符就去查 Perceiver Resampler 的输出。Flamingo 团队还有一个重要发现：图文交错数据（interleaved data）极其重要。就是从网页 HTML 里按文档结构的先后顺序，把图片和文字一起抽出来喂给模型。少了这类数据，下游性能明显掉。

Flamingo 在少样本设置下就能和很多任务专用模型打平，一个模型干多件事，训练还便宜，因为语言模型全程冻结。唯一的遗憾是它从未公开发布。

LLaVA 的巧思：让 GPT-4 闭着眼出题

2023 年，微软和几所高校的混合团队发布了 LLaVA，全称「大语言和视觉助手」。它解决了 Flamingo 没解决的问题：指令微调。

当时的 VLM 只会写图片说明、回答简单问题，任务面很窄。Will 归因于数据：训练集里缺任务导向的标注。LLaVA 的架构也换了路线，它走的是自回归方案，最早由 Salesforce 的 BLIP 团队趟过路：视觉 token 过一个简单的投影矩阵，直接塞进语言模型的序列，和文本 token 混在一起，不需要交叉注意力层。代价是所有视觉 token 都要完整展开参与注意力计算，而且投影层参数太少，对齐到极限之后想再提升，就得解冻语言模型，冒着灾难性遗忘的风险。

Nathan 想起自己做过的最早几期节目之一，嘉宾是 BLIP-2 的作者。让他震撼的点在于：语言模型只用约 10 万个 token 的词表训练出来，现在有人绕过词表，直接把图片投影进文本嵌入空间，模型照常工作，还能触达纯文本永远到不了的嵌入区域。Will 的评价是，一个简单投影矩阵就能做到这些，还不破坏 transformer 原有的性能，这本身就是个惊人的发现。

真正的贡献在数据。他们从 COCO 数据集（微软 2014 年发布，约 20 万张图，带边界框和区域描述）入手，拿纯文本版 GPT-4，配上一套精心设计的提示词模板，让它假装看得见图片，生成一段用户和视觉助手的对话。

比如图片描述是「一群人围着一辆车，地上有行李」，边界框标出行李、自行车、人的位置。GPT-4 可以问「图里是什么类型的车」，也能问「车左边的东西是什么」，答案就藏在边界框的坐标关系里，根本不用看图。还能问更有推理含量的问题，「这些人面临什么挑战」，答案是他们在往车里装行李。

问题和答案都是 GPT-4 生成的，一次拿到成对的训练数据。LLaVA 的预训练只用了 60 万图文对，指令微调数据是 15 万条这样合成出来的对话。发布时，它在图片复杂推理任务上超过当时所有 VLM，对话任务也略胜一筹。这套配方一年半后依然能打，字节跳动团队参与的 LLaVA-OneVision 至今排在榜单前列。

Nathan 在这里插了一段自己的经历。2022 年他想做视频字幕检测，30 秒的视频有 900 帧，要判断屏幕上的文字出现了多久。人类标注员干这活儿极其痛苦，他的方案是自己标 10 条，让语言模型标 100 条，人工纠错后再微调，滚雪球一样几天就造出一个新能力。用强模型生成训练数据，再训练下一代模型，这套打法如今遍布整个 VLM 领域，合成 OCR 数据、合成 LaTeX 文档都是同样的思路。这也是头部实验室不太担心数据墙的原因之一。

MMMU：一年多，从 55 分到 78 分

评测模型聪不聪明，得有个标尺。Will 选的是 MMMU，全称「大规模多学科多模态理解」，可以理解为多模态版的 MMLU。

它专门测三种能力：感知，图片里有什么；知识，关于图片内容知道多少；推理，能从图片推出什么。题目由大学生从教科书、课程材料和网络上收集，大约 1.1 万道，覆盖 30 个学科，历史、医学、电子、市场研究、音乐都有，全部四选一。有些题还要数学推理，比如给一段乐谱的和声区间图，问哪个选项写错了。

几个关键节点：

• 2023 年 11 月发布时，GPT-4V 得 55%，随机猜是 25%，最好的开源模型（LLaVA 系列）只有 34%。
• 出题团队还测过纯文本版 GPT-4，用 OCR 提取图中文字、用模型生成图片描述后作答，拿到 34%。推理能力在得分里占的分量，比很多人预想的大。
• 一年多后，o1 预览版拿到 78%，领先第二名整整 8 分。

Will 特别提醒，录制时间是 2024 年 12 月 20 日，OpenAI 的十二天发布活动还没结束，榜单随时可能再变。Gemini 2 和新的 Claude 当时都还没有分数。

中国开源军团：分阶段训练与渐进式扩展

这期节目里最能打的开源模型，几乎全来自中国团队。Nathan 顺势感慨，西方可能高估了自己的领先优势，西方机构的论文里也挂着大量中文名字，而中国团队发布的东西往往还更开放。

先看阿里的 QwenVL 系列。它把预训练拆成了三个阶段，这个配方后来被广泛沿用。

第一阶段冻结语言模型，只训练视觉编码器和连接模块，图片统一压到 224x224，喂大量质量一般的图文对和交错数据。语言模型已经训练得很好了，没必要拿低质量数据去折腾它。第二阶段是多任务预训练，解冻整个语言模型，图片升到 448x448（一张切 4 块），混入合成 OCR 数据、带边界框的视觉定位数据、现成的视觉问答数据集，还有纯文本数据，最后一样是为了保住语言能力，别让模型忘了怎么写文章。第三阶段才是监督微调。

Will 总结这套思路：数据质量递进，数据规模递减，解冻的参数逐步变多。Qwen2 的 72B 版本在 MMMU 上紧随 OpenAI、Anthropic 和 Google 之后，压过几乎所有其他模型。小模型全部开源，72B 走 API，团队说计划将来开源。

再看上海人工智能实验室 OpenGVLab 的 InternVL 系列，目前的开源榜首。这个系列每一步都在解决一个具体问题。

第一代解决视觉编码器太小的问题。常规 ViT 是 6 亿到 18 亿参数，他们直接放大到 60 亿，再用冻结的 Llama 7B 当解码器做对比预训练。妙处在于，这样训练出来的视觉编码器对齐质量极高，接哪个语言模型都能用。

1.5 版解决分辨率问题，方案叫动态高分辨率。任意比例的图片切成 448x448 的小块，按长宽比选择切法，最后再拼一张全图缩略图，模型既能看细节又能看全局。token 太多就用 pixel shuffle 压缩，把宽高方向的信息挪到深度维度，token 数量变少，信息不丢。Nathan 后来去翻了 OpenAI 的定价页，发现 GPT-4V 大概率用的是同一套架构：低分辨率收 75 个 token 的底价，高分辨率按 512x512 的块加收，缩略图加切块的影子清清楚楚。

2.5 版解决训练效率问题，方案叫渐进式扩展。先用小语言模型和视觉编码器对齐，训练收敛后，换上一档更大的语言模型继续训，再换最大的。结果是用 1200 亿 token 达到了 Qwen2VL 用 1.4 万亿 token 才到的水平。

为什么小模型反而学得快？Will 给了个解释：小模型自由参数少，梯度下降更容易找到好的解；等它收敛了，视觉编码器已经学到该学的东西，换大模型时起点已经不错，不用大范围搜索。Nathan 联想到微软的 TinyStories 实验，几千万参数的小模型先学会语法结构，最后才冒出微推理能力，学习的顺序确实是有章法的。

支撑这一切的是数据集的井喷。今年年初最大的公开图文数据集还是 LAION 的 58 亿对，最近几个月，Salesforce 主导的 MINT-1T 带来 1 万亿 token 的交错数据，OpenGVLab 放出 OmniCorpus，22 亿文档、80 亿图、1.6 万亿文本 token。开源研究者的预训练数据量级，几个月里跳了一大截。

路线之争没结束，但你可以先动手

Flamingo 之后，几乎所有团队都倒向了自回归架构。Meta 的 Llama 3.2 Vision 是个显眼的例外，它走了交叉注意力路线：视觉编码器用 ViT-H 14，在 90B 的 Llama 3 里插入新的交叉注意力层，其余全部冻结，只训练新层和视觉编码器，预训练和微调都如此，最后还做了 DPO 偏好优化，Will 说这是他第一次在 VLM 里见到 DPO。

动机不难猜：90B 语言模型的能力太宝贵，不动它就没有退化风险。新增的交叉注意力层约占参数量的 25%，训练预算约 1 万亿 token。结果是 MMMU 开源第二，仅次于 InternVL 2.5。

所以两条路线都能做出前沿开源模型，路线之争没有决出胜负。但差别是存在的。有几个团队注意到，交叉注意力架构在 OCR 这类细粒度任务上偏弱，原因可能是 Perceiver Resampler 这类模块在细粒度上打乱了视觉 token 的排布。也有作者猜测多模态推理在自回归架构上更好，因为视觉 token 和文本 token 混在同一条序列里，注意力机制处理起来更顺，但没人说得清为什么。天平整体在往自回归那边倾斜。

Nathan 补充了一个视角，来自 latent space 播客：一些架构差异其实是组织架构的遗产，语言团队和视觉团队原本是两拨人，各自的技术选择延续了下来。他预计 bitter lesson 迟早会统一这一切。

这期节目信息量太大，收个尾，给几条马上能用的。

• 开源 VLM 已经够用。InternVL 2.5 在 MMMU 上压过 5 月版 GPT-4o、初版 Claude 3.5 Sonnet 和 Gemini 1.5 Pro，Qwen2VL 和 Llama 3.2 Vision 紧随其后，预算敏感的项目可以先拿开源模型跑 baseline。
• 做文档理解、OCR 这类细粒度任务，优先选自回归架构的开源模型，比如 InternVL 和 Qwen，交叉注意力路线在细节识别上偏弱。
• 喂图时保留原始分辨率，别自己压成小图。动态高分辨率策略会自动切块处理，你提前压缩反而丢信息。
• 理解了「缩略图加切块」的机制，就能看懂 OpenAI 的图片计费：低分辨率 75 个 token 底价，高分辨率按块加收。控制成本先控制图片尺寸。
• 看 MMMU 分数时留个心眼：四选一，随机猜 25%，纯文本模型靠 OCR 加描述也能拿 34%，推理占的分量很大。
• 缺数据就造数据。LLaVA 用 15 万条 GPT-4 合成的指令数据解锁了助手能力，小团队完全可以用强模型加边界框信息批量生成自己的训练集。

最后是 Will 留下的那个开放问题：融合多种模态，能不能带来又一次理解能力的跃迁，让 AI 真正「像我们一样」理解世界？目前没有答案。但方向已经很清楚，能看图的模型正在快速变强、变便宜、变开放，明天要动手做一个看图的应用，你手里的选择比一年前多了不止一档。