AI 做科学的真实进度条：读文献赢过人类，数原子还没过关

2022 年 8 月，OpenAI 在找一个极小的圈子测试还没发布的 GPT-4，要求是既懂化学又懂语言模型。全世界符合条件的人两只手数得过来，名单上有纽约大学的 Glen Hocky，还有罗切斯特大学化学工程教授 Andrew White。他因此进了 GPT-4 红队，两年后又出现在 o1 技术报告的测试名单里。

红队期间 White 干的事听起来吓人：让模型写神经毒剂的合成步骤。GPT-4 给出的答案步骤清晰、口吻笃定，乍看能唬住任何人。他画出中间产物的结构式，追踪原子在步骤之间怎么移动，然后发现全是编的。模型根本不理解原子怎么从一个分子挪到另一个分子，它只是擅长把假话说得像真的。头一个月他觉得这东西疯了，接下来两个月觉得不过如此，直到 11 月底他把外部工具接上模型，才发现真正的大事在这里：把模型放到只准调用工具的轨道上，它能老老实实做出像样的化学。这条思路后来写成了 ChemCrow 论文。

White 的本行是统计力学，做气体、液体、蛋白质的分子模拟。2019 年在 UCLA 访学，碰到 Yann LeCun 和 Yoshua Bengio，又在东京的材料学会议上跟 Lee Cronin、Sergei Kalinin 聊了几轮，回来写了本教材《Deep Learning for Molecules and Materials》。更早击中他的是 Gerbrand Ceder 团队的论文：拿 word2vec 处理材料学文献，把材料变成向量。他和 Hocky 随后用早期的 Codex 模型，用语音指挥分子动力学软件 VMD，因为没人会写它的 TCL 脚本，以前全靠谷歌搜索加复制粘贴加邮件求助朋友。

这期节目来自播客 Cognitive Revolution，主持人 Nathan Labenz 是创业者和 AI 投资人，跟 White 在红队相识，追了几个月才约到这位嘉宾的播客首秀。整期聊下来，最有价值的东西有两样：FutureHouse 已经兑现的成绩单，和 White 泼出的几盆冷水。

模型学科学，顺序跟人想的是反的

红队那几个月让 White 摸清一个规律。模型对化学基础的理解相当好，推理反应规则、讨论分子性质都像模像样，可它数不对电子，数不对原子，化学计量数会算错。机器学 STEM 的顺序跟人的预期是反的：自由发挥的部分做得不错，机械性的步骤反而翻车。他预测这里会有一个顿悟时刻，一旦模型能可靠地数原子数电子，化学就解锁了，不用再靠工具把分子挪来挪去。所以他对 o1 这类推理模型很乐观。

o1 的红队体验是「差一步」。这次测试已经系统化，有现成基准，团队去试一些更疯狂的设想，模型走得非常远，最后总卡在某个关键步骤上。有个没来得及试的招：同一个问题跑 32 次取多数票，能抹平这类小失误。他的判断是下一代模型就能做合成路线和实验方案规划，证据是 FutureHouse 自家基准集 LabBench 里的 ProtocolQA，o1 的成绩已经超过人类，这个基准测的正是读懂生物学实验方案。奇怪的是生物学先过线，化学还没到。生物序列那么长，按理更难，可克隆怎么做、流程怎么走这些周边知识，模型已经学得很接近了。

为什么挑生物学：25 美元合成一个基因

FutureHouse 是 CEO Sam Rodriques 的主意。Sam 跟 Tom Kalil、Adam Marblestone 办过 Convergent Research，专门孵化「聚焦研究组织」，也就是 FRO：2000 万到 5000 万美元预算、几年周期的非营利机构，回答一个学术界嫌太大、产业界嫌不赚钱的具体问题，比如给大脑连接组造测量技术。FutureHouse 沿用这个量级，目标拉长成十年使命：造出能放大科研规模的半自主 AI。主要金主是 Eric Schmidt。

为什么选生物学？White 给了两个理由。第一，生物学有平台技术。想做一个蛋白质，克隆、无细胞合成、机器打印，路子是现成的，测一个假设又清楚又便宜：100 个氨基酸的蛋白质，下单合成对应基因，25 美元。化学正好相反，每个分子都要定制路线，能不能放大规模全是问号。第二，生物学的智力任务没有上限，永远有新基因组要注释，新蛋白质功能要弄清，新宏基因组暗物质要解释。物理的目标是找到还没找到的定律，生物学的还原论定律早就有了，就是进化，剩下的问题是理解复杂系统怎么咬合。

「你永远无法把生物学简化成那些卡通示意图。每一个层级都有复杂性，而且它永远在起作用。这是一个由观察和经验测量驱动的领域。」

这段话顺手拆掉了「超级 AI 一觉醒来想通怎么治愈癌症」的叙事。生物学靠可重复的测量驱动，再聪明也换不来数据，能攒出一堆好假设才是正经优势。这跟 Dario Amodei 在《Machines of Loving Grace》里的判断一致，生物学的进步靠少数平台技术。Nathan 补了一句自己读化学本科的体验：反应多如牛毛，平台技术没几个。

两盆冷水：模拟省不掉实验，机器人别去碰

Nathan 的预设很典型：AlphaFold、ESM 越来越准，硅基实验便宜，命中率提上去，现有湿实验通量就能榨出十倍价值。White 没直接反驳，他算了一笔账。现在用自由能计算预测一个小分子跟蛋白质的结合，云上跑一次大约 10 到 15 美元；合成这个分子再实测一次，价格降到了 20 美元左右，某些情况能压到 5 美元。湿实验的成本这几年跟算力降得一样快，替代的交叉点还没到。

更深的教训来自 D.E. Shaw Research。十几二十年前，这家公司把顶尖的硬件工程师、程序员、化学家、生物学家聚到一栋楼里，从芯片到数据中心自底向上造机器，专攻分子动力学模拟蛋白质折叠，模拟时长推进到毫秒级。按外推曲线，2030 年模拟细胞器，2050 年模拟整个细胞。问题在于分子动力学不处理化学反应，而生物学大量是酸碱化学，是 ATP 变 ADP，是 NADH。想模拟反应，得上反应力场；再往下挖，质子在水中传递是量子效应，经典力场和机器学习势函数都搞不定，必须做电子密度计算和 Born-Oppenheimer 近似，而这个效应真的会改变生物行为。蛋白质里还有一大块内在无序区，AlphaFold 管不着。每往下挖一层，就冒出一层新的复杂性，地板永远踩不到。

他的结论很克制：经验机器学习模型有时管用，第一性原理有时也管用，但 100% 靠谱的方法只有一个，去实验室测。所有计算方法都是近似，能做的是提高命中率、减少实验室里要跑的实验轮次。

第二盆冷水泼给实验室机器人。生物科技和 AI 圈里，一上来就吞下「自动化物理世界」使命的公司，倒下的太多。Emerald Cloud Lab 和 Ginkgo Bioworks 做出了真成绩，但把全自动化当承诺太重。FutureHouse 干脆不碰：机械臂、移液工作站、声学移液器这些常规自动化照用，可「把实验室全自动」不写进使命，谁明天解决了实验室机器人，他们乐意直接买，或者签合作。

行业现状也确实没到。Nathan 点破一个半公开的秘密：这些云实验室的界面是可编程接口，背后是机器人和人的混合，人负责自动化不划算的环节。White 说这行管这叫 biorobot，一个人两分钟搞定的事，不值得自动化。判断标准也简单：把楼里的灯全关了，系统还能跑，才算真自动化。最后那几个百分点投入产出比极低，100% 自动化短期内不会出现。

由此引出「半自主」的定义。White 想象的工作方式：给系统一个明确问题，比如某种疾病可能的生物机制是什么，系统给出候选，人再追问哪个适合用生物药打、哪个适合用小分子打，一轮轮迭代。生物学受实验数据约束，没法像数学那样把系统放出去，一个季度收一批定理。小鼠实验外包给 API 是不存在的，必须跟人手拉手做。他还留了个开放实验：把做科学拆成约 25 个可编程工具，塞一个人类进去，看博士生或众包工人能打成什么样，这事从没人试过。

PaperQA2：把读文献打成超人类

ChemCrow 之后，White 想明白了一件事：科学文献这个人类文明维护了几百年的巨型网络化产物，才是自动化的第一站。做科学，99% 的工作是知道文献里有什么，剩下 1% 才是挪出那点创新。PaperQA 是他加入 FutureHouse 之前写的，起因是去哥本哈根演讲，酒店外下雨没事干，在笔记本上捣鼓出来的。

它跟普通 RAG 的区别在中间多了一步：先检索所有可能相关的文本块，对每一块单独跑一遍 LLM 做摘要和重排，再把筛过的内容交给最终模型作答。多这一步，治的是大模型对干扰信息的极度敏感。问「EBM 试验里安慰剂组多少人」，检索结果只要混进另一篇试验的方法段落，答案就会被带偏。这一步还顺手消灭了分块大小、解析质量这些经典调参难题。

成绩单有两份。一份是基准：反复打磨后，文献问答、矛盾检测、维基风格的主题综述写作全部超过人类水平，工程博客记录了每一个 A/B 决策。另一份是 WikiCrow：用这套系统写了约 18000 篇维基百科条目，覆盖人类基因组里每一个基因的功能。此前维基百科只覆盖约 2500 个基因，多出来的约 16000 个基因的功能总结，全世界此前没有任何地方存在，另有约 1500 到 2000 个基因连一篇论文都没有。这套系统以每分钟 75 个问题的速度工作，能对 2500 万篇论文做任意论断的矛盾检测，能每天扫完 arXiv 上所有新论文，也能每三周用最新研究重写一遍所有疾病的条目。

Nathan 复盘过它为什么赢，几条关键做法值得抄：

• 全文检索。大多数论文搜索引擎只索引标题和摘要，因为全文拿不到，多数竞品和基准也就只能用摘要。FutureHouse 自建全文检索并开源在仓库里，Postgres 或 Elasticsearch 就能搭，Google Scholar 和刚上全文检索的 Semantic Scholar 也是性能来源。
• 查询扩展。把一个问题拆成三种不同措辞的关键词搜索，Perplexity 的 pro search 就是这么干的。
• 筛选比例。先考虑 75 个来源再砍到 10 个，好于考虑 25 个砍到 15 个，砍得越狠，信息损失越小。

背后的哲学只有一句话：先要最好的结果，成本和延迟往后放。谷歌搜索的逻辑是先花大钱建索引，再摊薄每次查询的成本；PaperQA 反过来，一切即时处理。一次问答 15 美分到 1 美元，耗时几分钟，GitHub 上 6400 颗星，但仓库故意做得难装，只服务愿意折腾的程序员。他们还放了个公开版工具 hasanyone.com，输入「有没有人做过 X」，用自家数据库和检索链路查一遍。想商业化的人不少，尽调、专利检索、博士生都有需求，团队卡在使命和收入的张力里：卖 API 到底能不能换来更多新发现，还没想清楚。

图表处理是个新进展。他们建的 FigQA 基准上，10 月版的 Claude Sonnet 已经超过人类。PaperQA2 v6 正在加入看图能力，做法糙但有效：文本只用来检索，整页渲染成图片直接喂给模型。White 对微调 PDF 解析器的路线不看好，1992 年的 PDF 和 2020 年的 PDF 差异太大，与其精细解析，不如让模型直接看页面。

还有一个心态转变值得记下：模型在召回型任务上很差，比如把表格转成 JSON、列出图里所有数值；在精度型任务上却是超人类，比如根据这张图判断 A 疗法是否改善响应。把 10 万 token 文档塞给模型问「列出 50 个主要结论」，效果一塌糊涂，改成一次问一个结论、逐轮追问，立刻像样了。

Aviary：给智能体修训练场

团队随后把 PaperQA 拆成两块：环境，也就是工具，不训练的部分；智能体，要训练的部分，含核心模型和记忆。划分标准很实用：所有想训练的都放进智能体，所有不训练的都放进环境，两者用语言交互，观察进、动作出。记忆划给智能体是个有立场的选择，因为记忆的每种写法都带超参数，截断策略、压缩方式、要不要保留图片，这些天然该被训练。

他们把智能体表示成随机计算图，形式化来自 John Schulman 的论文。图里没有递归也没有状态，智能体上一步的输出状态作为下一步输入，接收观察，吐出新状态和动作，于是可以反向传播、可以高效执行和序列化。市面上的智能体几乎全是 0-shot，调调 prompt 就完事；Aviary 的目标是让智能体可训练，哪怕关键节点是闭源模型。

闭源模型没法反向传播，他们的办法是拿一个多层感知机当代理模型：在当前配置附近反复调用黑盒模型，估计输出噪声，再微调参数看输出怎么变，用 MLP 拟合出局部梯度。代价不小，每个输入要 25 次调用，能优化温度、prompt 参数这类东西。White 承认这更像技术演示，温度 0.2 最优就是最优，上游参数之间也没什么相关性，现实收益有限。

更实用的打法是混合 Q-learning：闭源大模型一次生成 8 个候选动作，一个开源 Q 模型挑出最好的那个执行，因为环境里走错一步没法回头。训练数据靠树搜索攒：复制环境、分支因子设成 2，一路深挖到跑出正奖励的轨迹。效果分任务：文献问答提升 5% 到 10%，因为问题千奇百怪；分子克隆任务从 50 分提到 70 分，因为任务公式化。任务越公式化，训练收益越大，反过来也提醒大家，训练通吃所有任务的日子还没到。

被忽视的瓶颈：60 天的病人入组

化学供给侧的变化比想象中大。虚拟目录已经堆到 800 亿个分子，全是供应商有把握合成的，下单还有 80% 成功率兜底。Philippe Schwaller 团队的分子转化器能预测反应产物，IBM 和 PostEra 都有商业化的合成规划产品。在中国或印度雇一个化学家，年薪约 10 万美元，含实验室和试剂，一周能做 20 个分子。合成这件事基本被解决了。但 PROTAC、分子胶降解剂、诱导邻近这些新药模式，要往一个小分子里塞进两三个任务，复杂度又回到了三十年前。

还有个行业级的心态转变：老派药物发现从天然产物起步，磨泥土、刮青蛙皮肤，活性好但合成难如登天。行业后来整体转向石油衍生的简单分子，药物化学常用反应收敛到 75 个左右。有人认为这丢掉了化学多样性，于是有了 COCONUT 天然产物数据库供生成模型训练，也有了 Octant 这种直接在细胞模型里做表型筛选的公司。

对多组学基础模型，White 泼的冷水最狠。Recursion、Insitro、Calico 都做过同一个梦：小分子、转录组、细胞影像堆成大矩阵，喂出基础模型，让新靶点自己掉出来。口号从人类基因组计划喊到 GWAS，再喊到今天的基因基础模型 EVO。他的判断：这类模型做宏基因组、转录因子、调控网络会很出色，但作为理解疾病的银弹，这个领域每一个听起来很美的想法最后都失败了，怀疑才是默认选项。他推荐 Derek Lowe 的博客，一个看过太多轮浪潮的药物化学老兵。

Nathan 反问：机器学习的老想法也是等来算力才成的，生物学会不会只差规模？White 给出一个更深的解释：生物学的核心难题是反馈延迟。机器学习爽在反馈快，放到百亿参数、万亿 token 就知道哪个想法活下来。生物学的延迟是阶梯式的：孔板里的蛋白质快，养细胞慢，到组织更慢，到小鼠模型要等老鼠老死，到临床试验，从机制到二期要七年。七年意味着团队换血，没人记得当初为什么做这个项目。Insitro 成立七年才把第一个平台资产推进到临床申报；Recursion 股价和 GPU 集群都很风光，但目前在临床的资产全是买来的；Atomwise 点子好、人也好，可生物科技公司死于选错靶点而非技术不行，因果根本分不清。也许存在生物学的苦涩教训，但要三十年后才知道。

所以他认为当下最值得投入的瓶颈听起来毫不性感：临床试验首位病人的入组时间，大约 60 天，完全可以用创新压缩，比如给临床试验站点做更好的在线广告。可没人愿意投钱做这个。顺带给监管者支了一招：公开所有已批准药物的 IND 数据包，里面全是昂贵的毒理、药理、药代数据，药物已上市有专利保护，这些数据不再有竞争价值，却锁在 FDA 的抽屉里，没有像样的理由。

明天就能用的五件事

• 查新去 hasanyone.com。输入「有没有人做过 X」，一次 15 美分到 1 美元，几分钟出结果，背后就是 PaperQA2 的检索链路。
• 自己搭文献问答系统，先做三件事：全文检索、查询扩展、检索结果逐块摘要重排后再作答。别拿嵌入相似度硬扛。
• 让模型读图表，一次问一个具体结论，逐轮追问。精度型问题它超人类，召回型问题它会翻车。
• 做 AI 产品先学 FutureHouse 的哲学：不计成本和延迟做出最好的结果，确认价值后再优化。工程师对 token 成本的焦虑，多数时候来得太早。
• 把复杂度写进工具描述，prompt 保持简单。PaperQA2 的控制流朴素得像第一版草稿，功夫全藏在工具的 docstring 里。