冻结两个大模型，只训一个“转接头”：BLIP-2 十天把视觉接进语言模型

2021年1月，“让AI看懂一张照片”还被业内当成远未解决的问题。一年之内，两位来自 Salesforce 新加坡研究办公室的研究员，Junnan Li 和 Dongxu Li，发布并开源了 BLIP，在图像描述、视觉问答、图文匹配三个任务上同时做到当时最优。2022年的AI圈，榜单头名的平均寿命按周算，BLIP 在榜首坐了一年多，最后成了2022年被引用次数排名第18的AI论文。

2023年初，两人又端出 BLIP-2，思路更省：视觉模型冻结，语言模型冻结，只训练中间一个不到2亿参数的连接模块。一台 A100 机器，跑不到10天，成本比上一代还低，纪录却全部刷新。主持人内森·拉本兹回忆，第一集播客录制时嘉宾现场提到 BLIP-2 刚发布，他当场清空了下午的日程去跑模型。

这期 Cognitive Revolution 把两代模型的设计逻辑、训练开销、踩过的坑全部摊开。内森自己的公司 Waymark 靠 BLIP 第一次做出了靠谱的图片推荐功能，他的原话是"godsend"，救星。

从计算机视觉“跨界”来的两个人

两人博士阶段都做计算机视觉。成名作是 ALBEF，和 OpenAI 的 CLIP 前后脚发表，中了 NeurIPS。Junnan 回顾，CLIP 的图像编码器和文本编码器各算各的，最后只比一个相似度，他们在中间加了个融合编码器，让图像和文本真正交互，细粒度理解任务的成绩立刻上了一个台阶。

被问到现在还算不算视觉专家，Junnan 说领域边界已经模糊，“从视觉转到语言，需要的额外专长没那么多”。内森替他补了句实话：这叫谦虚，两人的专长深得很。Transformer 一统天下的年代，同一套方法横跨所有子领域，人员流动快得惊人。

BLIP 的两板斧：会切换的架构，自己洗的数据

架构上，BLIP 继承 ALBEF 再改一步：同一个模型共享参数，既能当编码器又能当解码器，论文里叫编码器解码器混合结构。训练同时挂三个损失：对比学习把图像和文本的表示对齐；图像描述损失是标准的语言模型损失，以图像为条件；图文匹配损失做二分类，让模型通过交叉注意力判断一对图文配不配。三个任务互相补，多任务学习把每一项都抬高了。

对比学习的机制值得单独说两句，因为它是整个多模态的地基。网上配对的图文当正样本，随机乱配的当负样本，训练目标很朴素：让正样本的相似度高过负样本。图像和文本各自过编码器，最后用点积算余弦相似度。机制简单，学出来的编码器却能抓住语义，CLIP 的视觉编码器后来被到处复用，靠的就是这个。

数据是另一半。网络爬来的图文对噪声极大，配文常常就是“多么棒的一天”这种废话，跟图毫无关系。Junnan 把杀伤力的差别讲得很清楚：对比学习只学一个向量，噪声忍得住；描述生成要逐词输出，配文和图无关，模型就会学会凭空编造，什么都从图里学不到。

所以 BLIP 加了一套后来被广泛跟进的流程，也就是 CapFilt：先用相似度分数筛掉图文不匹配的样本，再让模型自己生成合成描述，把干净数据做大。LAION 团队后来拿 BLIP 给自家数据集重新生成描述，做出 LAION-COCO，质量高了一截，代价是单一模型生成的描述少了些多样性。

训练成本，Junnan 给的数字是32张GPU跑一周，训练最大的模型，合200多个GPU天。Dongxu 补了参照系：谷歌的同类模型动辄几万GPU小时起步，数据至少多十倍，BLIP 的成绩还能持平甚至更好。架构和训练策略选得对，跟堆算力一样值钱。

迭代过程没什么玄学。两人先用小模型小数据快速试错，损失函数继承自 ALBEF 不用动，主要磨架构，前后大概十到二十次试验定稿。唯一踩的坑是学习率调高后训练莫名崩掉，loss 直接变 NaN，于是压低学习率，batch size 在32张卡里拉满。另外文本侧用 BERT 初始化，起点就带语言能力。

读得懂可口可乐，拼不对小店的招牌

内森观察到 BLIP 有个同行没有的本事：读 logo。可口可乐这种大商标直接认识；长尾的小商家招牌就露怯，联合主持托伦伯格的姓"Torenberg"，会被读成"Torenstein"，最后几个字母悄悄变形，像听力考试蒙了个大概。

两人拆了原因。一是数据，LAION 那个4亿级数据集里 logo 很多，网络文本自带拼写错误，模型遇到没见过的名字会拿先验去补全。二是它本来就不是 OCR。OCR 先检测再放大逐字识别，ViT 是对整图做整体理解，抓最显著的部分，小字必挂。

Dongxu 给了个更结构性的解释。早期视觉语言模型靠现成目标检测器打标签，检测器只框桌子盒子，从不框 logo。对比学习有个涌现的好处：它把描述里每个词都对齐到图像的对应区域，logo 上的字自然和图里的字对上了，不需要专门的 OCR 损失。同事拿它适配 OCR 场景，效果也不错，基础模型稍加调整就能干专项的活。

BLIP-2 的灵魂：先教转接头看图，再让它教语言模型

BLIP-2 的动机，Junnan 说得直白：视觉那边有人拼命预训练更好的视觉模型，NLP 这边有人拼命推语言模型的边界，视觉语言领域却还在从零开始预训练，“为什么不能把现成的进展直接接起来？”

于是两边全部冻结（参数不再更新），中间只训一个叫 Q-Former 的连接模块，像个速记员，把一张图浓缩成32条“笔记”递给语言模型。可训练参数不到2亿，比 BLIP 的几亿还少。语言模型一行代码都不用改，视觉信息以软提示的形式注入，类似 prompt tuning。语言模型还能随时换成更新的，也能换成你自己微调过的版本。

真正的灵魂是两阶段预训练。第一阶段，Q-Former 只连冻结的视觉编码器，用对比学习和图文匹配损失先学会看图，约6天。第二阶段才接上语言模型，只用生成损失，约2天。内森复述消融实验：砍掉第一阶段，性能大幅跳水，还会出现 Flamingo 论文里的灾难性遗忘。

Dongxu 解释了为什么必须这样，这段是全期最精彩的部分。如果训练信号只来自语言模型的输出，连接器会作弊：它不去理解图像，只学会操纵语言模型吐出正确答案，结果完全不泛化。深度学习永远找捷径，先把连接器教会看图，理解图像反而成了最容易的那条路。

“我们先把它预教好，然后让它去教语言模型。”

压缩效率也值得记一笔。一张200×200像素的图，被 Q-Former 压成32个768维向量，直接送进语言模型的嵌入层。Dongxu 说他们试过老路：生成20到30条描述当上下文喂给语言模型，能用，但描述必须和问题相关，一条根本不够。向量这条路的容量大得多。

这套思路往外推的空间很大。内森问视频和声音行不行，Junnan 说视频几乎白送：抽帧、给每帧加时间位置编码，丢进编码器就行；声音也类似，声音编码器加一个桥，接上语言模型。内森往前多想了一步：输入端有连接器，输出端凭什么没有，把语言模型最后一层的概率分布接给另一个连接器，动作和运动预测就出来了。Junnan 的愿景正是这个方向：一个终极多模态系统，能看、能听、能写代码、能执行动作。

注入语言模型的向量，人类读不懂

内森在这里表达了不安。BLIP-2 本质是个集成系统，连接器直接往语言模型嵌入层注入向量。他顺着趋势往外推：摄像头、麦克风、各种传感器都能这样接进来，拼出真正的多模态系统，但注入的到底是什么，没有人读得懂。他形容，语言嵌入空间里有一块语言本身进不去的暗区，连接器学会了进去，语言模型照样能读懂，这很迷人，也很瘆人。他追问，有没有办法把这些向量反推回文本？

答案是目前没有。Dongxu 说软提示从 prompt tuning 时代就有人研究可解释性，结论一直是黑箱，语言模型太大，能引导它的路径太多。但他强调，第一阶段用了对比和匹配损失，可以确定 Q-Former 学到的是图像里有代表性的特征；这些向量人类读不懂，语言模型读得懂，把黑箱打开是值得投入的研究方向。

内森把语言模型比作大脑的执行中枢，视觉模型是眼睛，连接器是那截视神经。他自己承认对类比很警惕，追着问这个类比哪里不对。Junnan 认了，还给出更狠的版本：

“一个人从小只靠文字学习知识，某天睁开眼睛，他并不知道怎么解释看到的东西。语言模型就是那个从没见过图像的人，我们要做的就是在两种模态之间架桥。”

语言模型为什么被冻结？Junnan 的解释很务实：图文对里的文本质量有限，配不上语言模型吃的数据。真有更好的配对数据，语言模型本身也能从多模态里继续长进，这条路他看得见。

被问到对AI的恐惧，Junnan 的回答同样直接：“模型就是我们造的，作为研究者，我觉得它们很多时候还挺蠢的，本质上就是个大神经网络，离有感知远得很。”Salesforce 内部有伦理团队审每个 demo，可解释性方向他们还维护着 OmniXAI 这个库。

明天就能用上的清单

先给个热度参照：Hugging Face 上 blip-image-captioning-base 一个模型，一个月下载18976次。这是内森现场查的数字，两位作者猜的是1000到3000，明显低估了自己的影响力。两人说，看社区怎么用模型是乐趣来源，很多场景他们自己都没想到。

具体怎么用，两人给了不少干货：

• 选型先试网络数据预训练版的 BLIP-2 描述器，再考虑 COCO 微调版。Dongxu 的经验是 COCO 版描述偏泛化，网络预训练版能给出具体名字，认得出车标和 logo，信息量大得多。
• 微调用 Salesforce 的 LAVIS 库，准备数据、写配置文件就能跑。BLIP base 一到两张 GPU 够用，batch 拉不满就加梯度累积；BLIP-2 最小的 OPT-2.7B 版本一张 V100 能微调，但多数场景预训练版直接够用。
• 图像搜索换个做法：把图库批量转成描述文本，描述是人类可读的压缩表示，再用句向量做相似度检索，几百条描述占的空间比原图小几个量级。
• 复杂图像用内森的土办法：切成4块或9块分别描述，再让语言模型综合成一段总述。视频就每秒抽一帧，逐帧描述后让语言模型合成叙事，他用 text-davinci-002 就跑通了。

内森的公司 Waymark 直接用 base 模型，没做任何微调。社区玩法更野：给宝可梦图片批量生成描述，微调 Stable Diffusion，实现文字生成宝可梦。底特律出身的内森还追问了汽车场景，Junnan 的判断是，只要有足够大足够好的数据集，识别到具体车型和配置包完全可行。

结尾聊日常工具，Dongxu 说自己每月付8美元订 GitHub Copilot，写样板代码、补注释、生成测试用例全靠它，“关掉这个插件，感觉生活质量直线下降”。内森顺带科普，Replit 的 Ghostwriter 就是从 Salesforce 的 CodeGen 蒸馏来的，两家现在咬得很紧。两人对开源的态度也很明确，Salesforce 的研究几乎百分之百放出代码和模型，他们想输出的是一套方法论，让没有大算力的团队也能把现成大模型接起来用。Dongxu 的新模型聚焦文生图，BLIP-2 的下一代也在路上。

这期节目最值得带走的判断：多模态的下一步，很可能就走在冻结现成模型、只训小连接器这条路上，成本低到小团队能上手，语言模型一升级就能换新。明天可以做的三件事：去 Hugging Face 跑一次 BLIP-2 的描述 demo，拿自己业务的图片试试成色；用 LAVIS 在自己的小数据集上微调一版；把图库里最难啃的一批图切块描述，丢给语言模型综合，看看能不能省掉人工打标。