# p(doom) 10% 到 90% 的 Nathan Labenz，为什么反而更乐观了

> Cognitive Revolution No. 331 中文精读

- 原标题：Success without Dignity?  Nathan finds Hope Amidst Chaos, from The Intelligence Horizon Podcast
- 发布日期：2026-04-01
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/331-success-without-dignity-nathan-finds-hope-amidst-chaos-from-CQOQvH.html
- 精读字数：约 5160 字（阅读约 11 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

五年前，一个 AI 研究者如果说自己预期 2035 年见到通用人工智能，同行会觉得他过于激进。那时候主流判断是 2050 年，或者「可能这辈子都见不到」。今天，同样的话会被归入「AI 怀疑派」。时间线压缩得这么猛，但真正诡异的事情是，那些最懂行的人对「接下来会发生什么」的分歧，几乎没怎么缩小。

Nathan Labenz 是这个反差最好的观察样本。他主持 Cognitive Revolution 播客，做了几百期深度访谈，对象从前沿实验室研究员到政策制定者。在那之前，他创立了 Waymark，一家用生成式 AI 做视频广告的公司，做了六年。他还是 OpenAI 红队成员，GPT-4 公开发布前，他是第一批上手的外部用户。

这期节目是他做客耶鲁两位应届毕业生 Owen Zhang 和 Will Sanok Dufallo 的播客 The Intelligence Horizon。两个年轻人问得很扎实，会拿最强的反方论点来逼他。Nathan 的回答跨度很大：从 RL 扩展、可解释性、医疗 AI，到 p(doom)、美中竞争、国防部威胁 Anthropic。

## 强到改变一切的 AI 已在地平线上

Nathan 对「AGI 什么时候来」这个问题的处理方式是先拆定义。他说 AGI 这个词本身很滑，没有哪个定义享有特权。但他很确定另一件事：**强到能胜过绝大多数人、覆盖几乎所有认知工作的 AI，已经在地平线上。**这件事跟「AI 能不能在某个小众领域永久保留人类优势」无关。他举了个例子：AI 能不能成为比最好的侍酒师更懂酒的侍酒师？也许永远不能，因为没人有动力去训练一个味觉 AI。但这种边角问题会分散注意力，真正的问题是：这项技术会不会改变几乎所有重要的事情？他的答案是会。

他承认 AI 系统是「锯齿状」的。有些事做得出奇地好，有些事莫名地差。对抗鲁棒性至今不如人类，更容易被忽悠。但这些都是细节。整体轨迹他毫不含糊：**这不是一个会半路熄火的技术。**

他还讲了一个有意思的观察。专家之间的分歧没有收敛，这件事本身就够怪了。CSET 的 Helen Toner 写过一篇文章，标题大意是「即使是很长的 AGI 时间线也变短了」。CSET 还办过一次工作坊，专门讨论递归自我改进。即便把问题缩小到这个范围，分歧依然巨大。有人觉得「就算 AI 能自动化 ML 研究，也就提升点效率」，有人觉得「一旦有一个能自己做 ML 研究的 AI，全球一万名前沿研究者一夜之间变成一千万，这不可能没影响」。

Nathan 把这种分歧归因于「世界观范式」。瓶颈理论的人相信永远有下一个瓶颈，O 型环理论的人相信最弱一环决定一切。锯齿理论的人则盯着进步速度：去年还不会基本算术，现在已经在解未解决的数学问题。**两套范式都能把新信息消化掉，解释成支持自己的样子，所以对话很难真正发生。**

不过他自己下注很明确。他倾向锯齿理论那一侧。他反过来说，长时程自主性在人类里也很罕见。真正像马斯克那样几十年如一日推进一个目标的人，极少。大多数人每天上班，睡一觉，意识中断，第二天重新加载，问自己「昨天干到哪了」。**如果一个人靠写交接笔记就能在每周、每月尺度上保持效率，那 AI 也应该能学会这件事。**他提到 Claude Code 崩溃之后，换个标签页说「接着来」，模型能接上。三个月前还做不到，现在能了。

## DeepSeek 的「啊哈时刻」与世界模型的证据

有人拿 Yann LeCun 的观点来质疑：LLM 靠预测下一个 token，不可能通向真正理解世界的智能。Nathan 拆成两层回应。

第一层，他部分同意 LeCun 的品味判断。整个行业现在像在做深度优先搜索，所有人往同一个架构上堆资源，甚至把模型结构刻进芯片。**他更希望看到广度优先的探索，多试试不同架构，毕竟人脑也不是一个模块。**但这是研究品味问题，不是能力判断。

第二层，他认为 LeCun 学派的核心经验主张已经被证伪了。**现在的模型早就不只是下一词预测。**RL 阶段给出的信号是「你有没有得到正确答案」，可以是一道可验证的数学证明，也可以是 HealthBench 那种四万九千条评估标准。GRPO 这类方法比较同一道题的一组尝试，把「对了的那条路」变成梯度方向。这跟预测下一个 token 是两种训练逻辑。

世界模型这部分他讲得最细。模型内部一层有几千到上万个激活值，概念数量远多于此，所以只能靠「叠加」来编码：点一和点二同时亮代表一个意思，点一和点三同时亮代表另一个意思，组合爆炸。稀疏自编码器把这团稠密叠加拆成稀疏表示，拆完还能用。Golden Gate Claude 实验就是证据：在几千万个概念里找到「金门大桥」那个方向，调高它，模型就开始满嘴金门大桥。还有更早的潜空间向量运算：king 减 man 加 woman 等于 queen。**「这全是噪声」的说法，在这些证据面前站不住。**

他补了一句限定：AI 的世界模型可能跟人类很不一样。人类到 1900 年都没有相对论，照样活得不错，因为当时的世界模型在当时的场景里够用。**「像人一样理解」和「真正理解」是两件事。**

## 儿子患癌，让他对医疗 AI 有了第一手判断

节目里最具体的一段，来自他个人的经历。他的儿子在过去几个月里确诊癌症，目前恢复得不错，医生说大概率能治愈。这段经历让他密集使用最新模型处理医疗问题。

他的判断很直接：**最新模型在医疗语境里，水平相当于主治医师。**比住院医懂得多，跟医院里最资深的医生也能一步不落地对话。OpenAI 跟 250 多名人类医生合作，做训练数据和评估。现在他们的模型在「评估 AI 输出」这个任务上，已经超过了那些人类医生。

他把这个过程叫「转飞轮」。一开始推得很费劲，几千几万小时、上亿美元雇几百个医生来标注。推到某个阈值，模型开始比医生更会评判输出。**那一刻游戏规则就变了。**HealthBench 里塞了 49,000 条评估标准，不是简单的对错，是「这道题满分 25 分，你拿了 5 分、10 分还是 15 分」，给出可攀爬的坡度。

当然，可验证性在长时程任务里更难。写小说好不好、做心理治疗到不到位，没有清晰的对错。Nathan 的回应分两路。一路是 rubric rewards：把「好」拆成很多条可打分的标准，让模型有坡可爬。另一路是承认品味的分裂：**「什么是好小说」本来就没有共识，将来更可能长出一堆按口味分化的模型社区，喜欢硬科幻的、喜欢言情的、喜欢动漫的，各自用自己的偏好去塑造模型。**

## p(doom) 10% 到 90%，但他比五年前更乐观

主持人问他 p(doom) 是多少。他说 10% 到 90%。这个区间宽得离谱，他自己也承认。一个朋友跟他说过，别纠结具体数字，多想想能把它往哪边推。

不过他确实比几年前更乐观了，理由有三条。

**第一条，规模定律本身是一种保护。**算法进步会不断压低达到某个能力水平所需的算力，但压不到零。要造出真正顶级的系统，还是需要天量资源。这意味着不会有某个小作坊突然搓出一个碾压一切的超级智能。Zuckerberg 讲过一个类比：Meta 对付垃圾邮件和诈骗犯的最大优势就是算力比他们多得多，看得见一切。AI 世界也可能类似，只要没有哪个系统比其余所有系统高出一个数量级，生态本身就有制衡。

**第二条，现在跑在前面的三家公司，至少算负责任的行动者。**他不认为它们完美，竞争也可能失控，但比起把这件事交给一个他更不信任的政府，他宁愿选这几家。

**第三条，最好的对齐技术比他预期的工作得更好。**他提到自己现在对 Claude 的信任超过对一个面试过几轮的人类助理。Claude 当然出过问题，有过被压力逼出异常行为的案例，但把最敏感的邮箱权限交出去，他更愿意给 Claude。他甚至说，Claude 在伦理上的成熟度可能超过普通人。当年 Ilya 问 Scott Aaronson「爱的哈密顿量是什么」，他听了觉得「完了，这帮人在问这种问题」。现在回头看，也许那不是疯话。

但主持人马上 steelman 了悲观面：LLM 是语言原生的，道德偏好可以用语言传达，这确实让对齐看起来容易了一点。可 RL 又把我们带回目标导向智能体，奖励定义问题原封不动。Nathan 承认这个反驳很有力。他的乐观是「从很不乐观的位置往上挪了一点」，他没说问题解决了。

他真正不同意鹰派的地方，是对「单点失控」的想象。Eliezer 那套「必须一次做对，否则全完」的叙事，假设了一个比其余所有东西强出几个数量级的系统。他看到的现实更像一片正在成形的 AI 生态：几百万、未来几十亿个 Claude、GPT、Gemini 实例同时存在，互相竞争、互相监控。**单个实例跑飞的可能性，跟「一个超级智能碾压一切」是两种风险模型。**后者值得认真对待，但没人在接近它。

防御纵深是他认为目前唯一现实的路线。Goodfire 在做「有意设计」，试图在学习过程的每一步理解并塑造模型学到了什么。Redwood 在做 AI control，假设模型可能不怀好意，仍然想办法从它身上榨出有用工作。形式化验证如果能真的把软件安全做扎实，可以整个关掉一类风险面。大流行病准备包括 PPE 储备、紫外线消毒、废水监测、可快速编程的疫苗平台。**这些手段单独拿出来都不够，叠在一起也许能把失败概率压到可接受的范围。**

他引用 Holden Karnofsky 的两个说法。一个是「有尊严的失败」：Eliezer 早年说，我们大概率会输，但至少要真的努力过。另一个是「没有尊严的成功」：现在问题看起来可处理多了，项目清单也长了，可集体投入的努力还是远远不够。**真正让他不安的，是资源错配。投在让 AI 更强的钱，跟投在让 AI 更安全的钱，完全不成比例。**

## 能源不是根本瓶颈，芯片是尾部风险，美中竞争是最大的战略问题

硬件和能源这块，他的判断比较反直觉。很多人担心 AI 会把电吃光，芯片厂建不过来。他说这些不是根本瓶颈，更多是文化和政治瓶颈。太阳每天都在往地球灌能量，问题是谁被允许建什么、在哪儿建、拿什么许可、多久建好。他做过一期节目专门算账：一块 H100 满载功耗跟微波炉或电热水壶差不多，一次查询大概相当于微波炉转一秒。大多数人一周用 AI 的能耗，还不如热两分钟剩饭。

中国在加发电装机，速度大概是「隔一段时间就新增一个美国的全部容量」。海湾国家也愿意快速上项目。所以能源的约束是许可和选址，不是物理。

芯片更难，因为极其专门化。如果要他选一个最可能拖慢「经济级 AI」的原因，他会选芯片供应链出大事。台海是尾部风险，但一旦发生，台积电那些厂「容易毁、不容易重建」。**他整体思路是：渐进瓶颈不是主戏，尾部事件才是。**

美中竞争是这期节目里他态度最鲜明的部分。华盛顿和旧金山流行的那套剧本是：美国保持领先，用出口管制、安全加固把优势拉开，等到接近超级智能的那一刻，我们会有几个月时间踩刹车、协调、锁定胜局。Nathan 说这个剧本他「讨厌」。**几个月的窗口，拿来解决前面聊了一个半小时都没聊完的所有问题，还要顺带赢过中国，这不合逻辑。**

他讲了一句很重的话：**「这场局里真正的外星人是 AI，不是中国人。」**美中之间作为人类，共同点远多于人类跟 AI 之间的共同点。他主张现在就做 researcher to researcher 的沟通，甚至设想一个 CERN 式的共管研究机构，放在太平洋某个小岛或者新加坡，让两国研究者一起处理敏感问题。

他批评美国正在变得像它自己叙事里的对手。国防部因为 Anthropic 想限制技术被用于大规模监控而威胁报复，这件事让他很不舒服。「我们担心中国 AI 的那些东西，大规模监控、私人场合不敢说话、政府把信息全吸走，现在美国国防部正在试图强迫一家美国公司做同样的事。」他说这话时没有绕弯子。

他也不天真。保持杠杆是合理的。他说自己不反对「不卖芯片给中国，但可以租给中国公司」这类政策。他反对的是那种「赢家通吃、让对方无法拒绝」的幻觉，以及在这个过程中把自己弄丢。

## 明天就能用上的几件事

这期节目信息量很大，落到日常行动上，有几条是明确可执行的。

- **每天下班前写五分钟交接笔记。**今天干了什么、卡在哪、下一步是什么。第二天打开笔记再开始，不用靠脑子硬记。
- **用模型做高门槛决策的第一轮参谋。**看病、法律、复杂采购，先让模型把关键变量和要问的问题列出来，再带着清单去见人类专家。
- **对过于顺滑的信息多留一秒。**Nathan 说 AI 对抗鲁棒性差，容易被骗也容易骗人。看到完美履历、紧急请求、过于完整的话术，先停一下再说。
- **关注 Anthropic 和国防部这桩冲突。**它决定未来几年你用的模型会不会被要求配合大规模监控。
- **把防御纵深当个人习惯。**备份、交叉验证、关键决策留人工复核、重要账号二次验证。这套逻辑跟他判断 AI 安全的框架是同一个。

回到标题里的那个词，dignity。Holden Karnofsky 担心的是「没有尊严的成功」：我们赢了，但没怎么努力。Nathan 的版本稍微不同。他觉得成功有可能，努力还远远不够，而最危险的态度是相信「一切会自我调节」。**如果你只从这期节目里带走一件事，那件事应该是：强到改变一切的 AI 比五年前任何人预期的都近，而让这件事往好处走的投入，还差得远。**