No. 201·精读

人类只写了1%的字,AI实验室花不到100美元,造出两个有药用潜力的纳米抗体

Breakthroughs in AI for Biology: AI Lab Groups & Protein Model Interpretability with Prof James Zou

斯坦福教授 James Zou 讨论虚拟实验室以最少人工监督发现新冠疗法,以及 InterPLM 通过机制可解释性发现蛋白质基序。

节目音频00:00 / 59:49
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

先摆几个数字。一个由AI智能体组成的科研团队,为新冠新变异株设计纳米抗体,拿出90多个候选分子,其中2个已经通过真实实验验证:既能牢牢结合JN.1这类新变异株,对早期毒株的结合力也没丢,甚至更强。整个项目的OpenAI API开销,不到100美元。人类研究者亲手写下的内容,只占全部token的1.3%。

这是斯坦福大学生物医学数据科学教授James Zou团队最近的成绩单,他同时是陈-扎克伯格计划(Chan Zuckerberg Initiative)的资助研究员。2024年12月,他在Nathan Labenz主持的播客Cognitive Revolution上聊了两篇新论文。一篇叫Virtual Lab,让一群AI智能体模仿真实实验室的分工,自己开会、自己定方向、自己写代码做科研。另一篇叫InterPLM,用可解释性技术去拆蛋白质语言模型的「脑子」,从里面找到了文献里从未记载的新蛋白基序(motif)。

主持人Nathan Labenz的评价很直接:这是他见过的「大语言模型真正在做科学」的最强演示之一。第二篇论文的分量在他看来甚至更重,因为它指向一个更根本的问题:AI能不能从原始数据里,学到人类不知道的概念?

一个AI教授,带一群AI学生开会

Virtual Lab的结构,照着Zou在斯坦福的真实实验室搭的。最上面是一个「AI教授」,相当于实验室的PI(课题组长)。下面挂着一群「AI学生」,各有专长:免疫学专家、计算机专家、计算生物学专家。另设一个AI批评家,专门给所有讨论挑刺。

科研推进靠两种会议。一种是组会:AI教授出议程,所有智能体围桌轮流发言,汇报进展、给出意见,最后由教授汇总共识,定下大方向。选纳米抗体还是选抗体,就是一场组会里定的。另一种是一对一会议:教授觉得某项具体任务该谁干,就单独约谈那个智能体,比如让计算生物学家去改ESM的代码,批评家在场监督。

真正有意思的是并行机制。每一个关键决策,团队会同时开5场平行会议,让5组智能体独立讨论同一个问题,最后由AI教授对比所有会议记录,取共识、定方向。不同场次有时会给出不同建议,这很正常,就像同一个人隔两天讨论同一件事,结论都可能变。平行会议等于用推理算力换探索广度,把更多可能的路径铺开看一遍再选。

「虚拟智能体有个好处,它们的会议比我们的快多了。我们坐下来互相介绍、喝咖啡的工夫,它们已经开了几百场会。而且它们不会累。」

人类怎么介入?主要跟AI教授对话。项目开始时给一句高层级的目标描述,比如「我们想为新冠新变异株设计疫苗或疗法」,AI教授据此判断团队需要哪些专家,自己去「招人」。人还可以补充约束条件,比如「实验预算不多,方案要快、要容易验证」。仅此而已。每场会议结束,AI教授会生成会议纪要,人类研究者翻纪要,觉得哪里不对劲就插一句「你们考虑过这个吗」。Zou强调,他们不写代码,不替智能体干活,也不下指令说「必须先做A再做B」。

Nathan问了一个扎心的问题:照这个分工,人类的门槛是不是很低?「新冠很重要」「预算不多」,这些话谁都会说。Zou的答案是,专家的价值在于盯着会议纪要看,发现「这条路实验上很难验证」或者「这里好像不对」的时候及时插话。人类提供的是品味和纠偏,苦力活全归AI。

他还分析了此前「AI做科学」的两类玩法。一类是人类把任务拆得清清楚楚,AI只负责底层执行;另一类是AI出点子,但没人验证,点子飘在空中。Virtual Lab想补的就是这两块:方向让AI定,执行也由AI做,最后还有真刀真枪的实验验证兜底。

第一个怪招:放着抗体不选,选纳米抗体

接到任务后,这个AI团队先做了一个多数人类研究者未必会做的选择:设计纳米抗体(nanobody),而不是更常规的抗体。

纳米抗体可以理解为抗体的缩小版,自然界只有骆驼、羊驼这类动物体内才有。绝大多数人遇到这个课题,第一反应是走抗体路线,因为文献多、工具熟。AI团队给出的理由是:纳米抗体更小,结构更容易预测,设计起来更稳定。事后看,这一步走对了,通过实验验证的候选分子正是纳米抗体。

Nathan听到这里,想起了AlphaGo的第37手,那步当时让所有职业棋手看不懂、后来被证明是妙手的落子。Zou的回答很克制,他觉得两件事有像的地方,也有不像的地方。

像的地方在于,都是AI走出了人类共识之外的路线。不像的有两个。第一,AI的选择有解释:纳米抗体小、好预测、好设计,人类专家能看懂这个逻辑,Zou本人看了也觉得合理,所以没有拦。AlphaGo那步棋,连顶尖高手都解释不了。第二,Zou反过来认为,在开放式的科研里做这种方向性决策,可能比下棋更难。棋局可以自我对弈,奖励是确定的,走错了重开一局。科研不行,实验验证没法自动化模拟,方向一旦定了就回不了头,错了整个项目跟着错,而且这种决策只有一次机会。

三件现成工具,拧成一条没人用过的流水线

工具选择也是AI自己定的。底层模型是GPT-4o,这些智能体本来就「读过」文献,知道领域里有哪些趁手的家伙。它们先列了六八个候选工具,讨论之后砍到三个:ESM、AlphaFold Multimer和Rosetta。

这三个工具各有分工,串成一条迭代流水线:

  • ESM是个蛋白质语言模型,可以理解成用氨基酸序列训练出来的BERT。它给大量候选突变打分,算出哪些突变最可能产出稳定、有功能的蛋白质。
  • AlphaFold Multimer接着预测纳米抗体和新冠病毒刺突蛋白的复合结构。
  • 第三个智能体提出,AI预测的结构可能有偏差,于是再用Rosetta做物理层面的结构松弛,估算结合能。

最后把三个工具的分数按特定权重加权,选出最有希望的候选,在其基础上继续生成新突变,再跑一轮。整个流程迭代了4次,产出最终名单,交给合作者去合成和测试。

单看每个工具,文献里都用过。新东西在于两点:一是智能体自己改了ESM的打分公式,二是把三个工具按这种加权迭代的方式组装起来,此前文献里没有先例。

改ESM那段值得多说一句。用蛋白质语言模型给突变打分,本质是算似然比:突变后的序列,模型觉得有多「通顺」。细节里全是学问。比如做了第一个突变之后,似然比野生型高了;接着做第二个突变,该跟野生型比,还是跟第一个突变后的版本比?文献里不同论文的处理方式不一样,一直有争论。AI团队自己推导了一套似然比公式,Zou事后评价,这个公式相当合理。

Nathan追问了一个很实际的问题:智能体有没有自己去Hugging Face下载模型、配环境?答案是没有。AlphaFold这类工具已经装在集群上,智能体只负责写接口代码去调用。Zou说下一版可以让它们自己折腾环境,但他也认同主持人的看法:能自主搞定一切固然好,更聪明的做法是绕过它们不擅长的环节,让它们把力气花在真正擅长的事情上。这个项目要解的已经是「给新变异株找结合物」这种没有现成答案的难题,没必要再人为加障碍。

人类只管方向,顺便省下两个数量级的钱

算一笔账。整个项目所有智能体的发言,按OpenAI API计费,加起来不到100美元。Nathan脱口而出:这至少是两个数量级的缩减。换一支人类蛋白质科学家团队做同样的事,时间会更长,人力成本会高得多。而且Zou补了一句要紧的话:人类团队未必会走到同样的设计上,因为问题太难了。JN.1这样的新变异株,此前就没有好的结合物,很多团队在啃,没啃下来。

时间都花在哪了?语言模型的部分快得几乎可以忽略,慢的是后面两段。跑一轮AlphaFold预测,要覆盖大量候选蛋白,光一轮就可能要好几天。更大的开销在湿实验:合成纳米抗体要委托CRO(合同研发机构),结合力验证要跟陈-扎克伯格生物中心(CZ Biohub)的合作者一起做,前后几周。最初的ELISA实验结果非常乐观,但Zou反复强调,后面还需要大量实验验证。

湿实验自动化的进展也在路上。Zou透露他们正在跟几家云端实验室谈合作,机器人做结合实验这类化学实验已经比较成熟,涉及细胞和动物的复杂实验还难,但他判断自动化迟早会覆盖过去。到那时,AI团队可以像调API一样直接下单做实验。

项目还没完。第一轮实验数据已经反馈给Virtual Lab,它正根据真实的结合数据,决定下一步怎么改进这些纳米抗体。代码和提示词已经开源,挂在Zou课题组的GitHub上,谁都可以去搭一套。Zou还提到,V2版本会做更友好的交互界面,让不写代码的科学家也能用。

还有一个细节,Zou自己觉得很有意思:因为RLHF的缘故,语言模型都太客气了。8个智能体明明有分歧,讨论起来还是一团和气。他特意设了AI批评家的角色,想让批评更直接一点,甚至想做个实验:把批评家调得更凶、更不留情面,看看科研产出会变好还是变坏。人类实验室里,很多批评只在心里说,没说出口。AI实验室没这个负担。

他还留了一个更远的观察点:Virtual Lab当初照着人类实验室的会议结构搭,但跑久了之后,AI团队会不会自己演化出新的会议结构,反过来教人类怎么更高效地做科学?他觉得这几乎是一门「AI社会学」,值得长期盯着。

往蛋白质模型的脑子里看,看到了文献里没有的东西

第二篇论文InterPLM,做的是另一件事:拿稀疏自编码器(SAE)去拆蛋白质语言模型ESM-2。

先交代背景。ESM-2只用氨基酸序列训练,训练数据里没有任何结构信息。它把每条蛋白质序列当成一个句子,氨基酸残基就是单词,用类似BERT的方式做掩码训练。因为吃进了进化尺度的数据,它学到了蛋白质深层的「语法」。稀疏自编码器是近两年机制可解释性领域的热门工具,Anthropic用它从Claude里拆出过数以百万计的特征,可解释性创业公司Goodfire也在做类似的事。Zou团队把同样的方法搬到蛋白质模型上,这个SAE只有1万个特征,其中约2500个被判定为人类可解释。

拆出来的特征分三类。第一类对应序列:某段氨基酸序列出现,特征就激活。第二类对应结构:这些残基在线性序列上隔得很远,折叠之后在空间上凑到了一起,特征照样能抓住。这一点尤其值得琢磨,因为模型从头到尾没见过任何结构数据,结构概念是它自己从序列里悟出来的。第三类是概念级的,对整条蛋白质的角色和类别做出响应。

接下来是自动标注环节。团队把已知注释的蛋白质拿过来,对比特征激活的预测,发现数据库里有缺口:一些蛋白质明明该有某个注释,数据库里却没有,特征激活把缺口补上了。这一步他们还用了Claude,让它去各个数据库里拉资料,自动比对已知知识和特征激活的内容。

然后是整篇论文最重的那一锤:至少发现了一个全新的蛋白基序,文献里从未记载过。基序是在自然界不同蛋白质里反复出现的结构片段。Nathan特意问了发现新基序的频率,Zou的回答是,文献里新基序的报道并不频繁。换句话说,这远非一个人类每周都在批量产出、AI顺手捡漏的领域。

Nathan在节目里说,这可能是迄今最清晰的证据:今天的机器学习架构,能从原始数据里学到人类不知道的重要自然概念。此前关于大语言模型的争论往往卡在这一层:就算模型会推理,它学的概念不都是人类语言里已有的吗?蛋白质领域的这个结果,把这条防线撕开了。ESM-2只吃序列,却在无人指导的情况下补上了人类注释体系的漏洞,还挖出了新基序。

Zou的判断更进一步。他说,人类对蛋白质的注释本来就有限,很多概念压根没有写下描述。这些蛋白质语言模型已经学到了新概念,填补了我们知识的空白,现在轮到我们用SAE这样的技术把它们挖出来。他在节目里反复用了一个词:金矿。

「我认为现有模型里已经藏着一座新概念和新知识的金矿。哪怕只是把这些东西提取出来,就已经能教会我们大量有趣的新洞见。」

他还有一个跨界的畅想:让一个由不同专家智能体组成的Virtual Lab,专门负责解读蛋白质大模型内部到底在算什么。自动标注用Claude已经跑通了,扩展成多智能体协作并不遥远。

规模还有很大空间。1万个特征、2500个可解释,听起来不多,Zou的解释是蛋白质的语言空间本来就比整个人类语言窄。但他也承认现在只是冰山一角,团队正在把同样的方法用到更大的模型上,包括带结构信息的AlphaFold,预计还能挖出更多概念。网站interplm.ai已经上线,任何人都可以上去交互式地查看这些特征对应的三维结构。

边界、金矿,和明天就能用的几件事

热情归热情,Zou对边界看得很清楚。第一类限制是数据,某些领域是数据不够,不是算力不够。内在无序的蛋白质、蛋白质与小分子的相互作用界面,连AlphaFold 3都会出错,这些地方需要更多实验数据去验证和改进模型。第二类是尺度。蛋白质之所以进展快,是因为它是一个相对自洽的分析单元,而人类健康真正关心的是细胞、器官、个体层面的东西,跨尺度建模是另一场硬仗,他课题组有好几个项目在攻。

至于Dario Amodei那篇《Machines of Loving Grace》里「压缩的21世纪」的预言,未来5到10年,生物学的平台级发现可能达到人类100年的量级,Zou的态度是兴奋但克制。他说自己正处在AI智能体、推理模型和生物技术(更好的细胞扰动手段、更强的测量能力)的交汇点上,100年太远说不准,但未来5到10年,肯定有一大批激动人心的问题可以用这些工具去啃。

看完这场对话,有几件事明天就能做:

  • 做科研、做分析的,去把Virtual Lab的代码拉下来跑一遍,仓库在Zou课题组的GitHub上。核心技巧可以直接搬:关键决策并行开5场会,再取共识。这个方法不限于生物科研,任何需要降低模型输出随机性的场景都适用。
  • 带团队做AI项目的,学Virtual Lab的组织方式:给AI一个高层级目标和约束条件(预算、时间、验证难度),把「怎么干」的决定权交出去,人只审会议纪要、只纠偏,别再一步步下指令。
  • 关注AI可解释性的,去interplm.ai逛一圈,亲手看看蛋白质模型里拆出来的特征和三维结构。想跟进的,盯住两个方向:SAE在更大模型上的应用,以及云端实验室把湿实验变成API调用的进展。
  • 让AI当批评家的,记住Zou那个观察:RLHF让模型过分客气。明确要求它直接、不留情面,产出质量大概率不一样。

最后回到那个数字:人类写了1.3%的token,花了不到100美元,换来两个有药用潜力的候选分子,和一个文献里不存在的新基序。这个比例还在往下压。等V2让不写代码的科学家也能上手,等湿实验也接上API,1.3%还会更低。到那时候,科学家的核心工作会越来越集中在一件机器最难替代的事情上:判断什么问题值得问。

Nathan discusses groundbreaking AI and biology research with Stanford Professor James Zou from the Chan Zuckerberg Initiative. In this episode of The Cognitive Revolution, we explore two remarkable papers: the virtual lab framework that created novel COVID treatments with minimal human oversight, and InterPLM's discovery of new protein motifs through mechanistic interpretability. Join us for an fascinating discussion about how AI is revolutionizing biological research and drug discovery.
Got questions about AI? Submit them for our upcoming AMA episode + take our quick listener survey to help us serve you better - https://docs.google.com/forms/d/e/1FAIpQLSefHvs1-1g5xeqM7wSirQkzTtK-1fgW_OjyHPH9DvmbVAjEzA/viewform
SPONSORS:
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive
80,000 Hours: 80,000 Hours is dedicated to helping you find a fulfilling career that makes a difference. With nearly a decade of research, they offer in-depth material on AI risks, AI policy, and AI safety research. Explore their articles, career reviews, and a podcast featuring experts like Anthropic CEO Dario. Everything is free, including their Career Guide. Visit https://80000hours.org/cognitiverevolution to start making a meaningful impact today.
GiveWell : GiveWell has spent over 17 years researching global health and philanthropy to identify the highest-impact giving opportunities. Over 125,000 donors have contributed more than $2 billion, saving over 200,000 lives through evidence-backed recommendations. First-time donors can have their contributions matched up to $100 before year-end. Visit https://GiveWell.org select podcast, and enter Cognitive Revolution at checkout to make a difference today.

CHAPTERS:
CHAPTERS:
(00:00:00) Teaser
(00:00:35) About the Episode
(00:04:30) Virtual Lab
(00:08:09) AI Designs Nanobodies
(00:14:43) Novel AI Pipeline
(00:20:31) Human-AI Interaction (Part 1)
(00:20:33) Sponsors: SelectQuote | Oracle Cloud Infrastructure (OCI)
(00:23:22) Human-AI Interaction (Part 2)
(00:32:31) Sponsors: 80,000 Hours | GiveWell
(00:35:10) Project Cost & Time
(00:41:04) Future of AI in Bio
(00:45:46) InterPLM: Intro
(00:50:30) AI Found New Concepts
(00:55:02) Discovering New Motifs
(00:57:14) Limitations & Future
(01:01:32) Outro

SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://www.linkedin.com/in/nathanlabenz/
Youtube: https://www.youtube.com/@CognitiveRevolutionPodcast

本集资源与出处