# 7岁上大学，20岁博士毕业，他用15,000个脑信号数字还原出人眼所见 > Cognitive Revolution No. 37 中文精读 - 原标题：E37: The Mind-Reading Revolution with Dr. Tanishq Mathew Abraham (Part 1 of 2) - 发布日期：2023-06-20 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/037-e37-the-mind-reading-revolution-with-dr-tanishq-mathew-abrah-JY7K-h.html - 精读字数：约 4418 字（阅读约 10 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 先说一个实验结果。被试躺在核磁共振机器里看了一张斑马图，机器采出他大脑的15,000个体素值。模型拿到这串数字，预测出一个嵌入向量，去一个50亿张图的数据集里做相似度检索，排第一的就是被试看过的那张斑马图本体。 这是论文Reconstructing the Mind's Eye里的真实实验。2023年6月，Cognitive Revolution播客主持人Nathan Labenz请来了论文背后的组织者，Tanishq Mathew Abraham。 这位嘉宾的履历本身就够特别：7岁上大学，随后不久登上TED讲台，20岁刚过拿到博士学位。Nathan开场给出的评价是，「从我看到的来判断，他的产出水准已经达到终身教授级别」。Tanishq创办并经营一家叫MedArc的研究组织，目标很明确，把AI的最新进展推进真实医疗场景。本期是上下两集的上集，下集会聊他的另一篇论文，从原始组织图像预测染色处理后的样子，帮实验室技师读片诊断。 今天这篇讲「读脑」。Nathan特意叮嘱听众去看论文首图，重建图和原图的关系，「用相似来形容都嫌轻」。整场对话信息密度很高，我把它拆开讲。 ## 数据是现成的，磁铁是7特斯拉的 很多人以为这类研究要先造设备、采数据，实际上神经科学界有开放传统，EEG、fMRI数据集都有公开库。Tanishq团队用的数据是别的团队采的，2020或2021年前后发布，就是后来开源的Natural Scenes Dataset。 这个数据集有两个关键优势。 第一，磁铁强。医院常规核磁用1.5特斯拉或3特斯拉的磁体，这台是7特斯拉，磁场更强，信号分辨率明显更高。 第二，规模够。8名被试，每人连续几个小时，看一张图几秒，测几秒信号，休息几秒，换下一张，循环往复。 团队没用全脑数据，只取了负责视觉感知的那部分体素，一共15,000个。每个体素是2毫米见方的立方体，里面记一个数字，代表这块脑区的血氧消耗水平。脑区越活跃，耗氧越多，数字随之变化。fMRI捕捉的是这个间接信号，血氧反应本身就慢，所以每张图对应一个稳态值，没有时间维度。整个输入就是15,000个数字，输出是那几秒里被试看到的画面。 Nathan现场算了笔账：15,000个数字摊在视觉皮层上，大概对应一块百来立方厘米的组织，相当于10厘米见方、1厘米厚的一片。一张手机照片动辄几百万像素，而描述「你看到了什么」的大脑信号，只有15,000个数。他直呼这信息量「少得惊人」。Tanishq的回应是，确实少，但大脑的组织方式帮了大忙，这个伏笔后面揭晓。 ## 三条管道，各干各的活 整个系统的第一步是共用的：用一个最普通的多层感知机，也就是MLP，把15,000个体素值映射到CLIP的嵌入空间。没有注意力机制，没有Transformer，就是个基础神经网络。 CLIP是OpenAI发布的图文联合表示模型。这里预测的嵌入尺寸是257×768：图像被切成256个小块，每块一个768维向量，外加一个全局向量。团队特意没做平均池化，因为把256个向量平均成一个，空间信息就丢了，后面低层细节全靠它撑着。 拿到嵌入之后，分三条管道走。 - **检索管道。**用对比学习训练MLP，让嵌入之间的余弦相似度关系正确，这样可以直接拿去向量数据库搜索。数据集内能搜到原图，放到LAION-5B的50亿张图里，也能把那张特定的斑马图精确捞出来。信号里保留的信息远超「这是一只斑马」的语义级别，细粒度到能锁定具体哪一张。这条管道还有个隐藏用法：从50亿图库里搜出来的最相似图和原图几乎一致，等于不调用生成模型也完成了「生成」。Nathan顺带提了一句，节目之前做过一期向量数据库专题，Chroma的创始人用同一个fMRI数据集演示过检索的扩展性，想深挖的可以找来听。 - **重建管道。**预测出的嵌入和CLIP图像嵌入不对齐，直接喂给图像生成模型会失效。团队借用了DALL-E 2的diffusion prior先做一步对齐，再交给预训练的生成模型出图。 - **低层管道。**另一个简单模型从fMRI信号预测Stable Diffusion的VAE隐表示，解码出一张模糊图。模糊，但物体的位置和大致色块都在。拿它当图生图的起点，生成模型在语义引导下细化，最终图像的位置和色彩就更接近原画面。 低层管道的思路，Tanishq用AI绘画打了个比方：给一张草图，Stable Diffusion能基于草图画出精细成品，同时保住草图里的构图和颜色。模糊图扮演的就是草图。他还强调这条管道是可选的，只在乎语义的话，从纯噪声起步也行，代价是位置和颜色会跑偏。加上低层管道后，论文在低层指标上的成绩明显超过此前的方法，此前的重建经常语义对了、斑马却站错了地方。 生成模型的选型也有讲究。团队试了Stable Diffusion的图像变体版本，试了eDiff-I，最后用的是Versatile Diffusion。原因很具体：它接受完整的257×768张量，其他不少模型只吃768维的全局向量，等于把空间信息扔掉了一半。这个思路还是模块化的，将来Stability AI发布更强的同类模型，直接换上，重建质量就跟着涨。 Nathan把整条管线复述了一遍，形容成一场钳形攻势：一只钳子从低层下手，先把体素值投到VAE空间，得到一张像隔着可乐瓶看过去的模糊色块图；另一只钳子从语义下手，把体素值投到CLIP空间，引导扩散过程把模糊图推向清晰成品。两只钳子合拢，重建就出来了。Tanishq听完说，这个总结基本准确。 ## 几个反直觉的点 第一，15,000个数字居然够用。体素是2毫米的立方体，看不到单个神经元，只反映区域级的血氧变化。按直觉，还原画面似乎得读到神经元级别的电信号，结果完全不需要。**不同脑区对不同图像特征有响应，知道哪些区域亮了，就能推出画面里大概有什么。**这件事反过来也有价值：这套重建工具本身就是研究视觉感知如何组织的仪器。 第二，检索和重建居然互相打架。为什么不做端到端训练？Tanishq的回答很坦诚：试过，两头难以兼顾，拆成两条管道才能各自拿到最好成绩，论文里的消融实验支撑了这个结论。至于背后的机理，连作者自己也承认没完全想透。对比学习只约束「谁和谁相似」，不约束嵌入落在哪个具体坐标上，高维空间里这件事更微妙。 第三，对齐问题在CLIP内部本来就存在。文本嵌入和图像嵌入相似度高，数值却对不上，所以DALL-E 2当年做文生图，也得加一个diffusion prior做转换。**fMRI嵌入撞上的是同一个老问题，团队只是把它接到了现成的解决方案上。** 第四，训练成本低得惊人。每个被试单独训练一个模型，训练集是几千个「图像加体素值」的样本对，Nathan提到的982其实是检索实验的测试集规模。最终模型9.4亿参数，大致是GPT-2的量级，一张A100，240个epoch，batch size 32，几个小时训完，推理是亚秒级的。 泛化边界也要说清楚。训练用的是自然场景图像，出了这个分布表现如何，团队没测过；生成模型本身也只擅长它见过的图像类型。Tanishq没有夸大，他明确说通用性是开放问题。 ## 小数据能行，靠的是预训练模型里现成的世界 几千个样本，怎么就够泛化？Tanishq的解释很清晰：**MLP只需要学会映射到一个已经建好的、极其丰富的表示空间。**CLIP用海量图文对训出来的空间里，图像的排布已经高度结构化，小模型只要找到那座桥。 他在节目里反复强调一个观点： > 把一个潜在空间映射到另一个潜在空间，是一个非常强大的想法。要尽可能利用它，尤其在你数据不够的时候，利用现成的潜在空间是个巨大的机会。 迁移学习早就存在，新的变化在多模态空间。Meta最近发了「把任何东西映射到任何东西」的论文，方向一致。Nathan说他自己反复回访Salesforce新加坡团队的BLIP那期节目，体会是粗略看，任何空间和任何空间之间似乎都能架桥，前提是找对桥墩的位置。Tanishq认同，但补了一句：不同CLIP、BLIP模型训练目标不同，得到的表示空间也不同，哪种表示适合哪种任务，目前没人系统研究过，这里还有大片空地。 Nathan的总结更直白：这些基础模型里已经封装了巨大的价值，等着聪明人设计出合适的架构，把不同的空间接起来。**一张A100就能做出刷屏的结果，这个信号比论文本身更重要。** ## 应用在哪，边界在哪 可穿戴设备？Tanishq直接泼了冷水。fMRI需要人躺进大磁铁，这个形态搬不出去。替代方案里，EEG时间分辨率好但空间分辨率比fMRI还粗，fNIRS也各有取舍，信号质量都撑不起这种重建。**短期内消费级「读心」设备没有路径，瓶颈在硬件，不在算法。**Nathan追问，能不能把体素加粗到4毫米，牺牲分辨率换便携？Tanishq说没试过，但拿弱磁铁采的旧数据集先验证一遍，是个合理的下一步。他也提醒，即便现在这套流程，被试要在机器里躺很久，医生全程参与，短期内它仍是一项面向研究的技术。 临床研究的前景要实在得多。论文里给了几个方向：追踪神经疾病患者的图像重建随病程的变化；抑郁症患者的重建画面可能更灰暗，这类差异有望成为诊断参考；闭锁综合征、昏迷患者，未来可能靠这类技术重建他们「看到」或「想象」的画面，恢复沟通。过去这类实验只能验证到「你脑子里想的是不是一只动物」的粗粒度水平，细粒度重建打开的空间大得多。 还有一个工程问题没解决：模型目前一人一个，换个人就得重训。Nathan问，把被试A的数据喂给被试B的模型会怎样？Tanishq承认没做过这个实验，人与人的视觉感知有差异，表征会不同，这是个开放问题。团队在推的方向是训练fMRI基础模型，建一个所有人共享的隐空间，新被试只需少量图像做校准。一作Paul Scotti在牵头这件事，他们的预期是校准数据可以压到个位数张图的量级，比如5张。 顺带一提这项研究的组织方式。MedArc是开源、分布式的：代码全程公开在GitHub，每周在Discord开例会，算力由Stability AI赞助。核心贡献者除了Tanishq，还有第一作者Paul Scotti和Atmadeep Banerjee，外加全球各地的社区贡献者。Tanishq说，坐在世界另一头、用一台笔记本参与前沿研究，几年前做不到，现在可以了。 ## 明天就能用的三件事 第一，**数据少，先找表示空间，再学映射。**别急着从零训练。问自己一个问题：我的任务能不能拆成「预测某个预训练嵌入，再用冻结的现成模型解码」？fMRI到图像能这么干，很多跨模态问题都能套这个框架。 第二，**检查你的任务到底需要哪种表示。**检索只要相似度关系正确，重建要坐标能喂给下游冻结模型，两种需求会打架，拆开做反而各自更好。做系统设计时，把「信息的组织形式」当成一个独立的决策点。 第三，**去翻公开数据集。**神经科学界有开放传统，高分辨率数据集已经躺在那里等人用，这篇论文的起点就是一次数据集的偶遇。另外，把论文第一张图打开看一眼，重建图和原图的相似程度，比任何转述都有说服力。