只读DNA的AI，看懂了基因的生死：Brian Hie把AI for Biology讲透了

一个只在DNA序列上反复做「预测下一个字母」的模型，没人给它上过一节生物课，它却能看出把3个字母插进哪个基因，会让整个生物体死掉。把这个判断和实验室里逐个敲基因的费时实验对照，结果对得上，而且是零样本，模型只跑了几次前向计算。

这个模型叫Evo，出自斯坦福助理教授、ARC研究所创新研究员Brian Hie的团队。上下文长度13.1万个碱基，训练数据里只有基因组序列。

同一期节目里还有个数字：Brian团队用一个只见过单链蛋白的模型，去改抗体和抗原的结合界面，把结合能力最高提到了天然版本的25倍。结合能力是个浓度指标，25倍意味着达到同样效果，用量只需要原来的二十五分之一，直接影响给药剂量。

这是2024年9月Cognitive Revolution的一期节目。主持人Nathan Labenz是创业者和AI投资人，他请Brian把最近三篇论文从头到尾讲了一遍。三篇论文刚好是三块拼图：怎么设计模型，模型能从原始数据里学到什么，学到的东西怎么变成药。下面按这个顺序拆。

生物学最大的坑：靶点错了，药再好也白搭

Nathan开场先摆出自己的理解，让Brian挑错。他把生物学的难题分成两个：第一，搞清楚因果，生物体内那么多分子，谁跟谁相互作用，谁在上游谁在下游；第二，找到靶点之后，怎么设计既有效又专一的干预，别误伤系统里其他部分。

Nathan觉得第二个难题近几年进展很大。Brian同意，但他把重点放在第一个上，先给了个扎心的数据：大多数药物在临床上失败，问题出在一开始就找错了靶点，跟分子结合得好不好关系不大。阿尔茨海默病吵了这么多年，淀粉样蛋白到底该不该当靶点，至今没有定论。有些病连病因都不知道，连该结合什么都不知道，设计就无从谈起。

Brian认为这个问题本质上是数据问题。观测数据其实很好收集：测全基因组，做单细胞RNA测序，健康和疾病各拍一张快照，差异一大堆。麻烦在于，生物系统太复杂，两张快照之间的差异里，绝大部分跟真正的因果机制毫无关系，属于虚假关联；而真正的因果变量，可能压根没被测到，或者测出来看起来毫无变化。

他研究生早期做过一个叫Scanorama的工作，把不同实验室测的同类单细胞数据对齐整合。做完他就想明白了一件事：光靠观测数据，能挖出的因果信息有天花板。于是他暂时离开了这个方向，在等一类新数据成熟，叫干预数据，真正去扰动系统，看结果怎么变。这类大规模扰动实验正在推进，等数据齐了，才轮到机器学习大显身手。

另一条路是自底向上，从原子和分子出发，建一个完美的机制模型，把整个细胞在计算机里模拟出来。Brian说他们两头都在做，也许将来会在中间会合。

顺便交代一下Brian的底色。他给自己的定位是计算生物学家，还补了一句实话：这个领域以前在生物学界不受待见，模型不够硬，生物学家不太信。AlphaFold出来之后，情况彻底变了。他刻意练的是「硬核版」计算生物学，生物和机器学习两边都得是像样的专家，缺一边就掉进两头都懂一点、两头都不精的夹心层。所以他的论文有时发机器学习会议，有时发生物学期刊。

第一篇：小模型上的微技能，能预测大模型的命运

第一篇是纯机器学习论文，叫MAD，Mechanistic Architecture Design，机制化架构设计，一作Michael Poli，状态空间模型这条线上的代表人物之一。

背景很简单：过去几年Transformer和注意力机制一统天下，现在状态空间模型这类新核心机制冒出来了，问题变成这些积木该怎么搭。

论文的做法是把架构拆开重排。注意力是一块，状态空间是一块，用代码框架批量排列组合，控制算力做对照实验，在小任务上比较高低。Nathan管这些任务叫「微技能」：上下文精确召回、模糊召回、带噪召回、选择性复制、压缩、记忆。单看每一个都不起眼，大模型那些惊艳表现全靠它们撑着。

两个关键发现。

第一，混合架构普遍好过纯架构。全部用注意力层，或者全部用状态空间层，都输给两者混搭。像造车，纯油和纯电之外，混动往往才是那个平衡点。他们的Evo模型32层里只有3层是注意力，大约十分之一。Brian拿生物学打比方：化石记录里，物种长期停滞，然后突然爆发式多样化，寒武纪大爆发就是典型。架构设计现在就处在爆发前夜，MAD想给这场爆发配一套规范的评测框架，让新架构之间的比较有控制变量、有统一任务，别再各测各的。

第二，小模型在微技能上的表现，能预测架构放大几个数量级后的表现。这对学界特别重要。做Chinchilla那种全面缩放实验，算力成本学术实验室扛不住，现在有了便宜的替代指标。Brian说这感觉非常生物学：药物研发里最值钱的就是「便宜代理指标」，先看培养皿里行不行，再看小鼠，最后才上十年期的临床试验，每一层都要跟最终结果相关。MAD等于给架构研究也修了一条从培养皿到临床的链路。

Nathan还追问了一个细节：同样算力预算，多堆数据比多堆参数划算，Llama 3的训练token量远远超过Chinchilla最优比例。Brian给了两个解释。一是模型的真实容量比参数量看起来大，同一个神经元可以参与很多不同概念，学界叫叠加效应。二是小模型多喂数据，推理时便宜。他们做生物模型时特意算过这笔账：生物学家大多没有大算力，模型必须小到能在本地跑，7B对很多生物实验室来说已经偏大了。

论文里还有一堆零碎发现，混合专家的配置、注意力头的大小等等，Nathan推荐大家去读原文。他还提到MIT刘子鸣（Ziming Liu）和Max Tegmark团队的KAN架构，觉得这可能是下一个值得塞进组合的核心机制，顺带聊了ARC-AGI基准和Wolfram新文章里用元胞自动机造逻辑门的思路。Nathan的立场是，模型会推理，只是推得还不够好，几年前它们可是完全不会推理。Brian的态度开放：架构改动到底有多少价值会被规模冲刷掉，只能靠实验说话，他欣赏这个时代机器学习一切看跑分的风气。

Evo：只读DNA，却看懂了生死

第二篇是Evo，Nathan整期提得最多的工作。模型用StripedHyena混合架构，训练数据只有DNA序列，任务只有预测下一个核苷酸。

怀疑论者会说，语言模型学到概念，是因为概念先被人类用语言写了下来。Evo堵死了这条退路：DNA里没有人类的注释，只有亿万年的选择压力，模型照样从纯序列里学出了高阶概念。

Brian的解释很干净：语言模型的训练数据是互联网，真实世界在文本分布上留下了印记；DNA的训练数据是进化采样，环境同样在序列分布上留下了印记。模型没有显式建模环境，但选择压力替环境签了名。何况DNA是生物界最底层的信使，绝大多数遗传信息都得从它过，测序又便宜又高通量，数据管够。

还有个先天优势。

生物学里的人类水平本来就很差，做出超过人类的模型并不难。自然界产出的东西，远远超出人类的想象。

深海热泉里的微生物、人体内没搞明白的通路，未知的东西遍地都是。Evo想做的，就是让模型在生命之树的全部多样性上，用尽量无偏的方式学高阶概念。

具体看那个基因必需性实验。

一个生物体有一堆基因，有的删掉就死，叫必需基因；有的删掉活得好好的。搞清楚哪些是必需基因，用处很直接：想杀致病菌，就得打它的必需基因，打非必需基因等于挠痒痒。

传统做法是逐个敲除基因再做活力实验，费时费力，有人用CRISPR把某个噬菌体基因组里每个基因都敲了一遍，做成数据库。Evo的做法是：噬菌体基因组通常小于13.1万碱基，能整个塞进上下文。然后往每个基因开头插入一个提前终止信号，也就是3个字母的插入突变，让这个基因翻译不出蛋白。插完用模型算整条序列的似然。

结果：插进非必需基因，似然几乎不动，模型的态度是「随便插」；插进必需基因，似然大幅下跌，模型的态度是「这一下要出人命」。跟实验数据库对照，零样本预测就能区分必需和非必需基因。对某个噬菌体，Evo几次前向计算得到的信息，跟那项敲遍全基因组的费时研究基本一致。

Nathan当场推演了应用：想要广谱抗生素，就把已知细菌的序列都跑一遍，找那些在所有目标菌里都必需的基因，再去湿实验室筛药。Brian认可这个方向，说Evo本质上像「加强版的保守性打分器」，它读过几万个细菌基因组和几百万个噬菌体基因组，知道哪些基因在进化里动一下就被淘汰，哪些随便突变。

生成CRISPR，和那条安全线

Evo另一个头条结果是生成CRISPR变体。为什么要更多CRISPR？Brian先开了个玩笑：专利。很多CRISPR专利用序列相似度划界，比如80%以上相似都算侵权，用生成模型多样化一下就能绕开。正经的理由是：CRISPR在人类细胞这种「非天然环境」里工作，天然变体里碰巧可能有活性更好的，以前只能去深海和下水道挖新菌测序，现在直接从生成模型里采样。

瓶颈在验证：湿实验一次只能认真测10到15个CRISPR系统。让人类专家去改CRISPR上400个氨基酸来绕专利，成功率天文数字般地低；生成模型能把成功率拉到10%到20%。生物学界管这个叫low-n设计：测10个，成1到2个，就已经是大胜。

关于「模型只是记住了数据」的质疑，Brian的回应是实验室正在做的检验：基因组里有些区域序列高度多变，功能却高度保守，比如细菌免疫系统。细菌故意让这些序列多样化，防止病毒针对性突破，但「这基因管免疫」这个高阶概念一直保留着。如果模型能生成序列上跟自然界任何东西都不像、却仍然带免疫功能的基因，那就证明它学到的是概念，不是复读。Brian说数据看起来有戏，但公开的、无可辩驳的证据，还得等他们把工作做完。

可解释性是另一条路。Nathan畅想给下一代的Evo装上稀疏自编码器，Brian很心动，列了三层期待：一是给「模型学到了高阶概念」补证据；二是不用微调就能从模型里白拿分类器，盯住某个概念神经元的激活就行；三是样本高效地发现新系统。他的例子很具体：已知的CRISPR-Cas系统大约只有20种，如果能在模型里找到「基因编辑神经元」，把它的激活值钳高，再去挖模型输出，也许就能翻出自然界里还没被发现的同类系统。

安全这块，团队做得很明确：训练数据里完全排除了感染真核生物的病毒序列，计划为常见病毒和毒素建评测集，必要时在后训练阶段刻意让模型在有害序列上表现变差。

Nathan把担忧摆到了台面上：造药和造武器的，恐怕是同一个模型，能力不分家。Brian的回应值得整段记下来。

让生物系统变坏很容易，让变坏的系统恢复稳态非常难。有决心的国家级行为体，不用生成式AI也能造生物武器，我自己绝不会用生成模型去设计武器。这项技术真正的能力跃迁在防御端，在治愈和疫苗上。

他还补了个狠比方：想弄死一个生物，把它扔出去撞辆公交车就行。破坏是顺着熵走的，修复是逆着熵走的。他的账是这么算的：人类伤害彼此的技术能力早就达标了，核辐射能致癌，生物武器也一样；真正没达标的是修复的能力，而生成模型最大的价值，就是把修复这条难得多、熵减的路变得可行。这是他乐观的底气，前提是护栏得一直立着。

只用单链训练的模型，把抗体结合力拉高25倍

第三篇回到造药。模型是ESM-IF1，编码器读蛋白骨架的三维坐标，解码器预测氨基酸序列，相当于做一次从结构到序列的翻译。关键在于：它只在单链蛋白上训练过，连多结构域的大蛋白都没见过，训练集基本是小的球状结构域。

团队直接把抗体加抗原的整个复合物当成一个大蛋白喂进去。抗体有重链轻链，再算上抗原，至少三条链，坐标在空间里有大幅断档，模型根本不在乎。它照常预测每个位置的氨基酸，预测结果里跟天然序列不一致的地方，就是模型认为「这里换个氨基酸，结构更稳」的候选。

打分方式很省算力：抗原那部分序列固定不动，只枚举抗体上每个位置替换成20种氨基酸后的似然变化，排序取头部，整个流程不需要重新训练，模型权重一动不动。流程是两轮进化。第一轮挑前20到30个单点突变，逐个合成测试。第二轮把第一轮里有效的5、6个突变做各种组合，再用模型打分挑最好的。

最终抗体对抗原的结合能力最高提升25倍。这个指标是浓度读数，衡量一半分子解离、一半分子结合时的平衡浓度，数值越低结合越强。25倍意味着达到同样的结合平衡，抗体浓度只需要原来的二十五分之一，往下走直接影响给药剂量。

Nathan特意确认了这个泛化算不算运气。Brian说是某种意义上的涌现性质，他们自己也没完全预料到。这是继Evo之后又一个分布外泛化的例子，对药物开发的意义很直白：从病人身上分离到的抗体往往结合力弱，用这个流程把它拉强，就是分子开发周期里实打实的一环。

节目结尾Brian还留了个开放问题：现在的分子设计都假设靶点是静止的，可病毒、细菌、癌症都在动，20亿美元开发的药，半年就耐药。怎么给「移动靶」设计算法，树搜索、强化学习都有空间，这是他接下来最感兴趣的方向之一。顺带他夸了ARC研究所：他当教授才8个月，没有ARC的人才密度和同事间的协作氛围，进度不可能这么快。Nathan提到的那个「CRISPR下一代接班人」，就是ARC发布的桥接RNA基因编辑技术。

明天就能用上的几件事

这期节目信息量太大，收尾压缩成几条能直接用的。

• 评估新架构，别只看困惑度。去看MAD论文的微技能清单，用小模型加受控算力做对照，学术团队和小公司也能对架构下判断，不用等大厂放榜。
• 做AI for Science，先找便宜代理指标。任何昂贵的验证，临床试验、动物实验、大规模训练，前面都值得先建一条小尺度读数到大尺度结果的相关性链路，这条链路本身就是护城河。
• 判断模型是不是真懂了，看它能不能在没有人类注释的原始数据上学出高阶概念。Evo是现成参照系，语言模型里那些「只是相关性」的争论，可以拿这套思路重新审一遍。
• 关注low-n设计这条赛道。湿实验验证通量是整个AI for Biology的瓶颈，谁能把「测10个成1个」的成功率做上去，谁就握住了从模型到药物之间最贵的那一段。

最后用Brian的账收尾：破坏的门槛人类早就跨过去了，修复的门槛还高高地立在那里。谁能让修复变得便宜，谁就拿走这个时代最大的红利。