AI能自己造AI吗？闭门会上专家吵到茶歇，谁也没说服谁

97%的肿瘤临床试验会失败。Abhi Mahajan每天面对的就是这个数字。他在Noetik AI做AI for cancer，收集真实的人类肿瘤样本，试图用基础模型预测哪个病人会对哪种治疗有反应。

2月11日这场马拉松直播里，Cognitive Revolution主持人Nathan Labenz和Prakash（推特上的@8teAPi）先后请来三位嘉宾。Abhi聊AI for biology，Helen Toner聊CSET刚发布的《When AI Builds AI》报告，Jeremie Harris聊中美AI竞争和失控风险。

三个人从完全不同的角度，撞上了同一件事：AI的宏大叙事，在具体领域里会碰到非常具体的墙。

生物学的reward太贵了

Nathan问Abhi，现在很多公司押注让AI自己设计实验、自己跑、自己读结果形成闭环，这条路在生物学里能走通吗？

Abhi的回答很直接：生物学没有多少可验证的ground truth，至少在临床最有价值的问题上没有。

他举了个类比。训练模型预测什么书会成为畅销书，理论上reward存在，有销量、有作者所在国家、有各种公开数据。但你得等18个月才拿到一个数据点，拿到之后也没法把结果归因到任何一个具体变量上。

毒理学是更好的例子。听起来简单，一种药有没有毒。实际上一款药可能在几秒钟内产生毒性，比如蛇毒；也可能几个月甚至几年后才显现。它可能不杀死动物，只是造成认知缺陷或心脏损伤。毒性往往还是剂量依赖的、物种依赖的。这些指标没有别的办法，只能放到活体里观察。

有家叫Axion的公司做肝细胞毒性预测，给定小分子，预测它对培养皿里肝细胞的影响。问题很干净，能省下临床前几个月时间。但它碰不到真正重要的问题：这药在动物体内到底怎么样。

Prakash提到Isomorphic Labs刚发布的模型，在几个关键基准上比AlphaFold 3翻倍，包括结合亲和力、口袋识别、结构预测。Abhi承认这是非常漂亮的工作，最左边那张图的基准极难提升。但他补了一刀：这个领域好看的临床前资产已经很多了，瓶颈在病人身上，这些资产到底有没有用。

他提到几天前一篇叫《The Affinity Advantage》的化学论文，说那是支持“临床前每一步都优化到位会产生超线性收益”的最强论述之一。他自己不完全信，但能理解。

Noetik的赌注：人类读不懂的生物标志物

97%的肿瘤试验失败，常见反应是“我们设计药物的能力太差，得改进”。Abhi的角度不一样。

他注意到一个现象：很多失败的肿瘤临床试验，事后论文里总能找到一小群确实有响应的病人。研究者拼命分析这群人有什么共同生物学特征，最后给出一个极其复杂、异质性很高的描述，比如某个细胞因子组或者颗粒酶基因高表达。这些东西从来没能变成真正有用的东西。

Noetik的赌注是：定义病人响应的生物标志物，可能是人类读不懂的。你需要一个黑箱生物标志物来封装那个信息。

他们收集大量人类肿瘤样本，四个模态同时测：病理学切片、空间蛋白组学（识别16种细胞类型）、全plex空间转录组（覆盖肿瘤表面19000个基因）、外显子测序（看KRAS、STK这类基因改变）。然后训练一个自监督掩码模型，把任何一个走进门的肿瘤放进嵌入空间里，看响应人群和非响应人群是不是落在不同区域。

更有意思的是生成能力。你可以敲掉某个转录本或基因，看肿瘤微环境里其他基因表达怎么变。癌症文献里有个概念叫nudge drug，助推药物，它不直接作用于免疫系统或癌细胞，而是把肿瘤推向一个更容易被其他药物击中的状态。你可以模拟敲掉某个转录本，再“幻觉”一下加入Keytruda（作用于PD-1轴的免疫检查点抑制剂）之后会怎样，也许模型会告诉你肿瘤现在高度发炎，大概率会融化掉。

Nathan提到Goodfire刚发了一篇用机制可解释性找阿尔茨海默病生物标志物的文章，问Abhi有没有办法让嵌入空间里的差异变得可解释。

Abhi的回答有点反直觉。Noetik内部有机制可解释性小组，但他自己对这个方向的优先级存疑。理由是：FDA对黑箱模型的态度已经变了。2025年八九月，一家叫Arterra AI的病理AI公司拿到了对黑箱模型的认可。输入前列腺肿瘤的病理切片，预测病人对雄激素剥夺疗法有没有响应，模型为什么有效他们也不知道，回顾性验证了几千个既往三期试验的病人，FDA没意见。

那还花大力气做机制可解释性干什么？Abhi说，机制可解释性在生物学里的日常，往往是盯着一堆语义分割图，反复问自己这是真的还是假的，模型是不是抓到了某个虚假相关。这些时间有更值得花的地方。

三个阵营，和中国的位置

Nathan让Abhi概括AI for bio的路线分歧。Abhi给了三个阵营。

第一个是Noetik所在的人类数据派，只信真实人类样本，从最复杂的东西开始建模。第二个是单分子建模派，绝大多数ML bio创业公司都在这里，建模单个生物分子和它们的相互作用，希望把成功率从5%提到20%。第三个是改进临床试验流程本身，这基本上是中国的主场。

中国能比任何人更便宜地跑临床试验，一部分是人力成本，一部分是监管和资金门槛被设计得没那么吓人。代价是药物默认“无辜直到被证明有罪”，跟FDA反过来。但好处是你既不用赌AI和人类数据变好，也不用赌AI和体外数据变好，你赌的是常规药物设计流程稍微高效一点就能改善结果。

Prakash追问中国生物科技崛起的原因。Abhi说这不是他的专业，但他的直觉是：中国从仿制药起家，慢慢长出药明康德这样成熟的CRO生态，人才在这里被孵化出来，然后意识到基础设施都在手边，为什么不自己做药。设计药物的人和做湿实验的人离得近，这件事比想象中重要。在美国，反馈回路很长：先攒数据，再找VC，再买实验室。在中国，生态已经在了。

至于中国的AI for bio模型有没有DeepSeek时刻，Abhi说看不清。有一些有意思的工作，但很难说有什么radically new的东西。很多是在英美原创工作上做scale up。美国对这些实验室的可见度低得多。

读生物学ML论文的五个坑

Nathan问了一个很实际的问题：AI for biology的新闻天天有，一会儿说AI发现了抗生素，一会儿说AI设计了纳米抗体，一会儿又说大部分都不可复现。一个外行怎么校准自己的判断？

Abhi写过一篇《读生物学ML论文时要记住的五件事》。核心是：生物学的评估非常难，很多论文藏着你只有领域专家才看得见的混杂因素。

他举了Leash Bio发现的例子。小分子结合亲和力论文里，你训练一个模型区分哪些分子结合靶点、哪些不结合，效果很好，发一篇Nature。但问题可能出在化学家身上。有些化学家对特定靶点有偏好，他们水平高，做出来的分子往往就能结合那个靶点，而且这些分子彼此长得很像。模型学到的可能是这种“化学家风格”的相似性，而非真正的结合规律。这种混杂非常“人类直觉”，很难归结为单一指标。

那LLM能帮忙找这些坑吗？Abhi写过一篇《O1 Preview能在56篇MLSB论文里找到错误吗》，结论是它不太行。那是上一代模型，也许现在好多了。但有些问题几乎每篇生物学ML论文都有，训练集不够大、测试集分层不对，LLM能挑出来。更根本的问题，LLM经常完全错过。

他还有个有趣的观察：几乎每篇文章里，LLM都会告诉他一些关于某个子领域的东西，而领域专家完全不认同。LLM说“你应该这样理解这个领域”，专家说“这根本不是我们担心的问题”。生物学里有些东西，LLM还没抓到人类的品味。

Helen Toner：吵到茶歇都没停的闭门会

CSET在2025年7月办了一场一天半的闭门工作坊，主题是AI自动做AI研发。参与者包括Redwood Research的Ryan Greenblatt、Anthropic的Nicholas Carlini、Princeton的Dash Kapoor、《AI 2027》作者之一Thomas Larson，还有几家前沿实验室的人。

Helen描述开场：第一场是“AI现在怎么被用来自动化AI研发”，几个人在第一次茶歇前就吵得不可开交。等到其他人站起来去拿咖啡和点心，他们继续吵，整个茶歇都没停。

这场面预示了报告的核心结论。关于自动AI研发的影响，参与者没能建立任何共识预期。这本身就是一个战略信号：如果连最知情的人都无法预测，那它就是一个巨大的战略意外来源。

Helen说，Nicholas Carlini一直在逼问其他人：你们对未来的看法差这么多，那第一个分歧点到底在哪？结果发现，在展望2026、2027年时，大家对“递归点之前会发生什么”其实高度一致。这听起来是好事，实际很麻烦：正因为大家在前期征兆上一致，你很难提前判断自己是不是正在进入递归循环。

她认为核心分歧有两个。

第一，AI是否真正取代人类能做的全部工作。如果最后还得由Alec Radford或者Ilya Sutskever来消化、判断、推进研究，你不会有真正的递归爆炸，只会有被加速的部分环节。报告里用Amdahl定律做了个类比：一个流程有多个瓶颈，你加速其中一段，瓶颈会跑到别处去。

第二，就算全自动化了，瓶颈多久会咬住。

有人用“扩张的饼”模型看这件事：人类一直在做更高层的抽象，从打孔卡到汇编到高级语言，AI写更多代码只是又一步，人类永远在外面那一圈。另一派，比如《AI 2027》的作者们，看法是：先自动化人类的一部分工作，再自动化全部，然后一直跑到别的瓶颈出现。

软件奇点，和超人类的平台期

Prakash提到Sholto Douglas（现在在Anthropic）的“软件only奇点”概念：我们在编码和数字世界变得极强，但造电、造铜、造物理基底跟不上。

Helen说这个概念有两个版本。一个是Tom Davidson写的那种，软件改进本身就足以产生疯狂的递归循环。另一个是“锯齿状的软件奇点”：AI在某些维度很强，但对世界的影响有限，因为它只存在于软件里。

这引出一个很少被讨论的问题：一个极其擅长AI研发的AI，在其他领域到底能做什么？有人觉得，擅长AI研发意味着它能训练模型做任何事，花一周收集数据就行。另一派觉得，就算它把AI研发这个最软件化的任务做到极致，设计新生物分子、思考地缘政治策略这些事，还是得出去看不同国家和决策者怎么反应。

Nathan抛出一个他觉得很少被代表的立场：也许会有平台期，但这个平台期本身就是超人类的。人类在地球生命史里可能只是智能爆炸S曲线陡峭段的入口，我们比之前的东西强那么一点，就足以接管世界。AI比我们强那么一点，可能也足够改变一切。

Helen说这接近她的默认预期。她补充了一个自己常用的框架：S曲线分三段，起飞期多长、中段多陡、天花板多高。大多数人在这三个参数上全选一端，要么起飞短、曲线陡、天花板高，要么起飞长、曲线缓、天花板低。她更愿意想混合情况：如果曲线很陡但天花板很低呢？如果曲线很缓但天花板很高呢？

还有个组合被忽略了：天花板高，同时被现实世界的采用延迟。睡眠数据那个例子很典型，AI解读睡眠信号预测疾病，理论上有巨大空间，但你得先收集数据、部署传感器。超人类的能力和超人类的影响力之间，隔着现实世界的摩擦。

政策：透明度、审计、和社会韧性

Helen说透明度这块比过去好。加州SB 1047和纽约RAISE法案是两个新起点。OpenAI、Anthropic，还有程度稍弱的Google，会主动披露不少信息，这点值得肯定。问题是这些披露几乎完全出于公司自愿。

她希望看到从“模型发布时的评估”转向“持续评估”，因为风险不只在模型上架那一刻。独立第三方审计是另一个前线，这个要求在好几个提案里都出现过，每次都被行业游说剥掉。

还有一类是“加固世界”：网络防御、生物防御、生物监测（监测疾病，不是监视人）、认知安全（标记真实内容，分辨真假）。假设AI能力会继续变强，自动AI研发会加快变化速度，这些是前提性的投资。

她提到一个心态转变：过去一两年，人们开始觉得开源模型会一直紧跟闭源模型，所以不太担心访问差距和权力集中。如果认真对待“自动研发会让闭源实验室显著加速”这个可能性，开源和闭源差距的假设需要重新检查。

隐私问题上，Prakash问政策制定者是不是太天真，禁了人脸识别还有步态分析、语音分析、笔迹分析、网络分析、元数据分析。Helen说美国在这件事上做得比几乎所有国家都差。她认为规则不该做在“禁止人脸识别”这一层，应该做在“禁止数据经纪人”这一层。收集数据可以，但用户得知道，得有通知和同意。

Jeremie Harris：棋盘本身是坏的

Gladstone AI十个月前为国务院做了首份美国政府AI威胁评估，当时的结论之一是每个美国AI数据中心都已被攻破。Nathan问十个月后有什么变化。

Jeremie说变化比他希望的小。他现在的视角是：大家太关注棋子，没人看棋盘。整个AI工业基础建立在中国制造的组件上，很多参与建设的人是中国公民。“忘记曼哈顿计划吧，我们差得远。”

台积电是他最爱举的例子。那是人类做过的最脆弱的生产过程，像一个有500个旋钮的巨箱，每个旋钮都得完美调校才能维持良率。缺设备或缺人，你都复制不了。台湾一旦出事，台积电要么被中国拿走，要么被炸掉，不会留在中国手里。那谁是第二名？中芯国际加华为看起来很可能是。华为特别强调把大量GPU联成网络，单卡效率不如英伟达，但联得更好，用规模换性能。

能源是另一个瓶颈，可能年底就会咬住。再往下是电网。有情报显示中国制造的变压器里被植入过能瘫痪电网的特洛伊木马。一个可信的场景是：台海冲突开始，中国最先考虑的动作之一就是关掉美国电网。

Prakash问出口管制到底有没有用。Jeremie说有用，而且有直接证据。DeepSeek的CEO在R1爆红之前公开说过，我们真的觉得能做AGI，唯一的问题是拿不到芯片，出口管制在要我们的命。R1出来之后，他们被拉去汇报，这类话就少了。看H200的订单量就知道中国AI生态的压抑需求有多大。

他不认同“让英伟达在中国做生意就能安抚中国”的论点。中国已经往国家AI芯片产能里投了相当于四分之一万亿美元的PPP投资，不会因为能买到H200就放弃。“为什么不两个都要？”

没有干净条约，只有进攻性选项

Nathan问，一方面你不相信中美能真正合作，另一方面你也不相信我们能控制超级智能，这两件事同时为真，怎么办。

Jeremie说，任何严肃的解决方案都得处理中国这个外循环。两条路。一条是跟中国达成共识。他觉得这条路走不通，因为国际条约反映的是现实政治，跟星际迷航式的善意无关。核裁军能发生，是因为大家保留的核武库仍然能毁灭地球三遍，多造一枚没有意义。生物武器和化学武器条约也类似，边际收益不足以超过用大炮和子弹杀人。AI不是这样，边际收益巨大。

另一条路是：你需要进攻性选项，纯作为optionality放在桌上。这不意味着对华开战。它的意思是，如果对方能说“看着我把你整个电网关掉，几千万美国人会死于饥荒或严寒”，你得能说“看着北京发生同样的事，而且我们可以重新打开”。这才有降级选项。

这套逻辑听起来像相互确保毁灭。Jeremie承认不漂亮，但他认为这是让杠杆存在的方式。“你没有可能建成完美的诺克斯堡，问题是你怎么让对方承担后果。”

单向门：数据中心建设里最便宜的保险

Prakash问什么叫“单向门”。Jeremie举了个能说的例子：审查数据中心场地规划和细节的人。如果这些人是中国公民，你就完了，这个洞永远补不上，它已经烤进去了。

这些单向门往往出奇地便宜。在整个建设CapEx和OpEx里占很小一个比例，就能买到纯粹的可选性。问题是没人系统性地梳理过哪些是单向门，也没人定标准。

他还提到一个具体线索：众议院中共问题特别委员会曾发函点名May Day Data Centers，说这家实体有些可疑。有些数据中心建设公司报价低得离谱、建得快得离谱，背后是从中国采购组件。如果中国是命令经济体加军民融合，而中共想让你在美国本土的数据中心拿到一个稀缺的、排长队的组件，这件事本身就该让你想想这个组件的安全完整性值多少信任。

低垂果实还包括：电网冗余、供应链审查、用AI扫描支撑基础设施的老软件里的恶意软件和漏洞。实验室其实愿意做对的事，没人想发现自己建的东西被攻破了，激励是对齐的，只是注意力太少。

p(doom)、时间线，和怎么保持态势感知

Nathan问Jeremie的p(doom)和时间线。

Jeremie说他更愿意谈“失去对超级智能的控制”，不是笼统的doom。数字上，10%到90%之间的任何数他都觉得合理。低于10%，说明你有些功课没做，很多场景听起来疯狂，但细看已经发生了一半。高于90%，如果你按90%以上来生活，你会变得没那么有效。

他提到Richard Feynman七十年代在纽约街头看摩天大楼，觉得这一切很快会被美苏核战抹掉。那反映了当时对动态的合理理解，但世界适应得比人们想象的快。“第十一章经常会出现一个不知道从哪冒出来的新角色。”这种对不确定性的不确定性，本身就该给你留出10%的空间。

时间线：2027听起来不离谱，2030也不离谱，2035有点远。他倾向于按2027可能发生来行动。“如果2027真的发生了，而我们有一堆合理的分析指向它却什么都没做，那会很遗憾。”

怎么跟上AI进展？他说过去读论文就是读论文，GPT-3帮不上忙。现在他花30%到40%的时间读论文，其余时间跟模型互动。“读论文是SFT，跟模型互动是on-policy。”他会拿自己的理解去测试模型：这个实验我会换个做法，这想法蠢吗？经常能得到好答案，那种感觉像是在旋转一个形状，而不是干瞪着它。

最近一次教训：他让Gemini帮理解一篇关于残差连接里梯度流的论文，聊了很久觉得很懂，切到Claude才发现前面那轮对话里有一半是幻觉。“尤其是当你开始钻进兔子洞的时候，记得回头查。”

品味问题，他承认自己不可能在所有领域都有好品味。他的过滤规则很简单：前沿实验室出的研究，或者他认识和尊敬的作者参与的论文，认真看。其他靠推特上固定的账号。读论文更多是为了概念，不是为了结果。“下周会有另一篇论文让这篇显得无关紧要，但概念的地形是稳定的，你熟悉了这个房间的家具，下一篇论文进来你也能重新摆。”

明天就能用的几件事

这期马拉松听下来，三位嘉宾从生物学、AI研发自动化、地缘竞争三个角度说了同一件事：宏大叙事和具体现实之间隔着大量脏活。

如果你想把这些变成行动：

• 读生物学ML论文时，先找混杂变量，再看指标。训练集多大、测试集怎么分层、数据是谁产的、有没有化学家偏好或者实验室习惯混进去。LLM能帮你挑一些格式化的毛病，根本性的坑它经常看不见。
• 用模型学论文，但要回头验证。Jeremie的30/40比例是个可操作的参考：读原文占三四成，跟模型对话占六七成，用“如果换个实验设计会怎样”来测试自己理解。切个模型交叉检查，尤其是聊嗨了之后。
• 在自己的领域里找“单向门”。那些第一天不做对、后面永远补不回来的决定。Jeremie说这类保险往往便宜得惊人，问题只是没人列清单。数据中心的例子是人员审查，你所在的行业也有自己的版本。
• 如果你在关注AI政策，盯独立审计这一条。Helen说这个要求在好几个提案里出现过，每次都被游说剥掉。透明度靠公司自愿是不够的。
• 接受分歧无法被证据解决这件事。CSET闭门会上最知情的人对递归自我改进的分歧，跟2007年Eliezer Yudkowsky写的东西没有本质区别。原因跟聪明无关，是证据还没到。按2027可能发生来准备，同时保留10%给“我可能全错了”，这是Jeremie给出的姿势。