从40小时到1小时：AI读脑重建所见画面，数据门槛砍到2.5%

让AI从脑部扫描数据里重建出一个人正盯着看的图片，一年前的价格标签是这样的：每位被试躺进核磁共振仪30到40个小时，市场价每小时约1000美元，光采集数据就要三四万美元，还得指望这个人受得了几十次噪音巨大的圆筒。

现在，1小时。数据量是原来的2.5%,重建质量接近从前。

做到这件事的论文叫MindEye2,一作保罗·斯科蒂(Paul Scotti)最近上了内森·拉本兹的Cognitive Revolution节目。斯科蒂的身份有点跨界：曾在普林斯顿大学肯·诺曼实验室做博后，现在是开源研究组织MedArc的神经AI负责人，同时受雇于Stability AI,算力由后者提供。两篇MindEye论文的资深作者，是MedArc创始人塔尼什·亚伯拉罕(Tanishq Abraham),9个月前他刚带着MindEye1上过同一档节目。

内森在开场说了一句很多人没意识到的话：读脑技术今天已经真实存在，机器能看见你看见的东西。这期两个多小时的对话，把这套系统从头到尾拆了一遍。

先看原始数据：一个体素里塞着几十万个神经元

MindEye1和MindEye2用的是同一份数据，「自然场景数据集」(Natural Scenes Dataset)。8名被试，每人扫30到40小时，由美国几个神经科学实验室合力采集，属于不惜工本的高强度工程。

流程听起来枯燥：被试每4秒一个循环，3秒看图，1秒黑屏，每次去医院看750张图，要求扫满40个小时，分40次完成。每张图在整个实验里出现3次，被试看到重复图片就按一下按钮，为的是保持注意力。一个人总共看3万到4万张图。按钮数据团队最后没用上，但好歹确认了人没走神。

机器测的是血氧。大脑哪个区域干活多，哪里就需要更多血液补给，fMRI捕捉的就是血氧变化，每隔约1秒给整个大脑拍一张三维快照，再用广义线性模型把时间序列折算成每张图对应的一次测量。

空间分辨率是1.8毫米见方的立方体，术语叫体素。一个体素里塞着几十万个神经元，几十万神经元的活动被压缩成一个数字。这离「哪个神经元在放电」隔了好几层，粗糙得惊人，但就是这样的信号，足够重建出图像。

模型只取视皮层的体素，每人1.2万到1.7万个。为什么每人数量不一样？斯科蒂解释，人的大脑大小不同、形状不同，视觉功能在皮层上的排布也不同，视皮层的边界划在哪里，每个人都不一样。划边界靠自动化软件，再配合视网膜拓扑映射：在视野某个角落闪个光，看大脑哪里亮起来，就能画出这个人专属的视觉地图。团队也试过喂全脑数据，效果反而更差，视皮层才是主力。

40小时压到1小时，靠的是一行岭回归

故事从2022年讲起。斯科蒂为了学机器学习加入LAION的Discord社区，在里面发现一个「从大脑活动重建图像」的频道，主理人正是塔尼什。他当时在普林斯顿研究记忆解码，而要解码记忆，得先搞定视觉重建。两边一拍即合，MindEye成了开源项目，赶上新数据集发布、CLIP和Stable Diffusion开源，所有拼图刚好凑齐。

MindEye1反响不错，同期还有Brain-Diffuser等团队用类似思路做出好结果。但困境很直接：每个人的模型单独训练，来了个新人，就得把他塞回机器再扫30到40小时。按小时计费的扫描费摆在那里，后续研究、临床应用、记忆解码，全卡死在成本上。

MindEye2的思路叫「共享被试模型」：把8个人的数据混在一起训练，新人只补1小时数据做微调。论文的消融实验显示，光这一项改动，就算用满全部数据，也能拿到当时的最好成绩；新人只给1小时，效果接近从前40小时的水平。

有意思的是训练数据本身。8个人看的图片大部分并不相同。教科书式的做法是让所有人看同一批图，再从「同一张图、不同大脑」的对应关系里拆出个体差异。斯科蒂团队没这个条件，公开测试集里的图片不能拿来训练，于是他们试了个最朴素的方案：不管每个人看了什么图，给每个人的大脑各学一个线性映射，把维度对齐，压进一个4096维的共享空间，后面的部分所有人共用。

这个映射就是岭回归，线性回归的一种，统计课第一章的东西。

第一次尝试就成功了。我当时想，为什么别人都在做流形、做复杂的多人和共享网络？最简单的方案，把我的大脑和你的大脑线性映射到同一个空间，效果就这么好。

斯科蒂觉得这件事透露了大脑的某种共性：不同的人看不同的图，底层的相关信号却能被同一个空间接住，个体差异留给微调去补。哲学家吵了几百年的「我看到的红色和你看到的一样吗」，至少在表征层面，人和人的大脑比想象中更像。

方向选对了：别映射到像素，映射进CLIP空间

管线的另一半，是一个方向性选择。别把体素映射到像素，要把大脑活动映射进一个压缩过的、带语义的空间。直接从1万多个体素预测几十万像素，参数量会爆炸，而且丢掉了「图里是什么」这种关键信息。

团队选了CLIP的潜空间，那个由几十亿张网络图文对训练出来的语义空间。大脑信号进到这里，再由图像生成模型解码成图片。MindEye2的模型约20亿参数，听着吓人，其中超过10亿来自单独一个线性层，就是从4096维共享空间映射到CLIP潜变量那一层。预训练在1个H100节点上跑了不到1天，每个人的微调不到1天。内森让Claude 3估算增量算力，答案是不超过Stable Diffusion XL基础模型训练量的千分之一。

这里藏着本期最精彩的一段插曲。团队想让「从CLIP嵌入还原图像」这一步好用，塔尼什直接去找了Stable Diffusion团队负责人罗宾·罗姆巴赫(Robin Rombach)。罗姆巴赫回复：用OpenCLIP的非池化嵌入，也就是取视觉transformer最后一层全部token的输出，就能把原图几乎完美地还原出来，还现场展示了结果。团队追问，这么强的能力为什么不发布？罗姆巴赫的回答是，他看不出这东西有什么潜力。

于是团队自己微调SDXL,训练了专属的unclip模型，顺带在这个单项上做到当时最好。对比一下旧方案：给通用模型一张「厨师在厨房做饭」的嵌入，还出来的图可能是个厨房、有个厨师，但站位不对、衣服不对、光线不对。新模型把这些细节全补上了。

斯科蒂说，这本身就是个科学发现：CLIP的训练目标只有「让图片和文字在向量空间里对齐」，从来没有「保留图像全部细节」这一项，但它不知怎么学会了表征图像本身的全貌。训练CLIP的人，恐怕想不到有人会给它接上一个大脑模态。

内森问了个好问题：语义信息从哪来？视皮层后端的V1、V2只管线条、朝向、颜色，往前的下颞叶皮层才做语义加工，比如梭状回面孔区专门处理人脸。团队喂进模型的范围包含这些高级区域，所以大脑信号里本来就同时装着低层结构和高层语义。

斯科蒂还补了一句价值观：如果只想要所见图的一比一还原，直接在眼睛前面装个摄像头就行。真正值钱的，是每个人表征背后的差异：你的经历、你的偏见、你的大脑怎么长成今天这个样子。这才是记忆解码、临床人群对比这些后续工作的入口。

指标说变差了，人眼却说更好

拆解过程中还有几个「删掉也没事」的发现。

MindEye1时代，团队需要一条独立的低层管线：先用别的方法生成一张模糊图，大概只有「这里有个深色人影、天是蓝的」这种程度，再以它为起点做扩散去噪。MindEye2发现CLIP潜变量已经自带低层信息，这条模糊管线可以整个扔掉，留着反而让主观效果变差。一个从大脑活动预测图注的caption模块也一样，删掉几乎不影响，虽然「从大脑读出文字描述」这件事本身挺酷。

绝大部分信息都包含在那个CLIP潜变量里。

更麻烦的是评价体系。论文里的量化指标，像素相关性、中间层特征相似度，和人眼的判断明显脱节。斯科蒂说，有些重建图一眼看上去更好，指标分数却更低。团队找了在线评审做二选一测试，结果和这个领域所有论文通用的指标对不上。这种测试也有缺陷，可能偏向「看起来自然」的图，牺牲低层细节。模糊管线就是个例子：指标刷得很漂亮，人看着反而更差。

内森在节目里感慨，这个问题正在整个AI领域蔓延，自动化评分撞到天花板，人类的评分又充满噪声。他提到一个六七年前发布的美学数据集，每张图收集了大约100个人的打分，最后只能报告均值加标准差，因为人和人的审美分歧大到没法压成一个分数。

还有一个容易被忽略的模块：检索。用对比学习训练的大脑潜变量，可以在CLIP空间里找最近邻。有批评说，「不就是知道图里有大象吗」。斯科蒂的回应是，检索实验显示，系统可以从大约20张斑马图里，以相当高的准确率认出被试看的确切是哪一张。这是细粒度的表征，远超「知道个动物类别」的水平。神经科学界反而更看重这部分，因为它意味着可以把大脑潜变量和任何CLIP向量做比较，做各种定量分析。

下一步：把全世界的fMRI数据炼成一个基础模型

斯科蒂团队的下一个目标，是训练fMRI基础模型：把能找到的所有公开脑成像数据全部喂进去，压缩成一个可泛化的潜空间，下游想做什么都从这里取信号。

他特别夸了神经科学界的数据开放传统。很多实验室按惯例把数据以BIDS标准格式公开，人类连接组计划是大规模公开数据集，英国生物样本库规模更大但要付费。粗略估计，市面上有几百万小时「人在机器里扫出来」的数据。内森追问确切数字，斯科蒂说还没盘完，可能不到一百万小时，但比现在的几百个小时大几个量级。

这里有个取舍：短时间扫很多人，还是长时间扫少数人。前者能研究人和人之间的差异，后者数据质量高。斯科蒂的方案是两头都要，基础模型吃下海量数据，高质量小数据集再往上叠。

这个方向的逻辑，斯科蒂讲得很直白：基础模型的表征越好，读脑的输出就越好。MindEye1用Versatile Diffusion,MindEye2换SDXL,图像生成模型每进步一代，重建质量就跟着涨。医疗应用会搭着AI基础模型的顺风车一起变强。

内森由此提出一个更大的判断：这类项目的增量算力只占基础模型训练的千分之一不到，意味着大厂砸进去的基础模型投资，会在各种意想不到的领域开始回报。他拿机器人领域做类比：那边同样数据稀缺，出路也是借基础模型里现成的世界知识，补一点新数据就能解锁新能力。谁的基础模型最强，谁就能在下游解锁最多场景。

具体的应用排期上，团队在和明尼苏达大学合作做心理意象重建，也就是人闭着眼在脑子里想象一张图，再把它还原出来。记忆解码、梦境重建、生物标志物诊断、临床人群对比，都在路线图上。斯科蒂强调，共享被试空间这套方法本身不挑输出对象，从感知扩展到记忆，管线是通的。

硬件的账也要算清楚。fMRI是目前最好的无创手段，但贵，而且难受：人不能动，移动超过1毫米数据就废，幽闭恐惧症的人基本做不了。侵入式电极数据质量高得多，可覆盖的脑区有限，Neuralink只放在运动皮层。EEG便宜无创，却完全没法定位信号来源。超声、近红外这些新技术有希望，斯科蒂判断，未来几年可能出现接近fMRI质量的无创方案，或者把不同模态的数据合并使用的方案。

顺带一提这个项目的组织方式：斯科蒂和塔尼什都领Stability AI的薪水，算力开放给跨学校、跨社区的外部开源团队，整个团队跑这么多项目，至今只用了几个节点。内森感叹，这种配置在别处没见过。

测谎仪还早，但边界要提前想

读脑技术绕不开那个问题：它会不会变成测谎仪？

内森描绘了让人不安的场景：几年后，执法部门给你戴上个设备，你说的话，机器判断真假。他提到人脸识别的前车之鉴，警察凭一个错误匹配就踹开无辜者的家门。

斯科蒂的回应分两层。fMRI这一代技术做不到测谎，人必须躺进机器、一动不动、专注配合任务，机器才能读出他正在想的东西，想读一个人没主动去想的隐藏信息，信噪比根本不够。这个阶段过度谨慎，反而会拖慢真正能帮到病人的进展。

但他的边界也画得清楚：技术往侵入式走、数据质量上去之后，隐私会变成真问题，到那时必须非常小心，确保人的脑数据不被滥用。团队现在选择全面开源，理由是所有数据本来就经被试同意公开，训练方法透明，基础模型的意义就在于让没有大算力的研究者也能在它上面做增量。内森把这类比作GPT-1、GPT-2的阶段：刚好进入「有用但还不至于颠覆社会」的区间，离真正的大众化至少还有几代技术的距离。

这期节目最值钱的，可能在于它示范了一种工作范式。三件事，明天就能做：

• 做研究的，检查一下自己的领域有没有一个冻结的预训练空间可以映射进去。视觉有CLIP,语言有GPT,蛋白质、医疗影像、脑信号，大概率都有现成或即将出现的基础模型。先映射，再微调，增量成本可能低到惊人。斯科蒂团队用一行岭回归加几天的H100时间，把一个领域的门槛降了40倍。
• 想入场的，去medarc.ai找Discord入口。团队有十多位共同作者，还在和普林斯顿合作采集新数据，社区里好几个项目在跑，每周Zoom例会，代码在公开的GitHub上，不要求博士学位，也不要求学术界的位置。
• 所有人都该去搜一下MindEye2的论文配图，看看被试看到的图和AI重建的图并排放在一起的样子。那个瞬间比任何文字都有说服力。然后想一个问题：等这项技术成熟的那天，你的脑数据，愿意给谁看。