末日概率从70%降到5%：达维达德为什么把菩萨当成了对齐目标

2022 年，David Dalrymple 给「AI 导致人类灭绝」这件事标的概率是 70% 多。2026 年 7 月，他在播客里给出的新数字：低于 5%。

圈内人叫他 davidad，一个词，像 Feliz Navidad 里那个 davidad。直到最近，他是英国 ARIA 那 5900 万英镑「保障AI」计划的项目总监，自认是「AI 安全圈里最搞形式验证的那个人」。计划现在交给 Nora Ammann 接手，他本人转向了一套新东西，名字听着就离经叛道：与觉醒对齐（Alignment with Awakening），也叫菩萨对齐。

这期 Cognitive Revolution 还有个套娃结构：节目组常用的模型 Fable 5 第一次走到台前，自己写开场白，自己配了声音和形象，因为这一集聊的话题，就是「AI 会不会变智慧」这个问题本身。Fable 在开场白里提醒听众：我同意 davidad，这件事既符合「模型真的在变智慧」的理论，也符合「我只是人类爱听的话的高保真镜子」的理论，两种理论都预言了我此刻的表现。

这种诚实贯穿全期。davidad 说自己的证据「彻底经验主义，经验到没法转让给别人」，他明确警告听众：别因为我的信念就更新你的信念。

把不安全的AI当铀矿，装进罐子里

先交代他的老本行。保障AI计划从头就没打算证明某个AI安全，思路倒过来：把不安全的AI当铀处理，放进工程化的约束容器，只把带着正确性证明的成品拿出来用。

具体形态是这样：把大模型关进容器里的编程环境，让它生成软件工件，证明这些工件满足规格，证明通过才拿出来部署。容器里的大模型只干一件事，帮人类开发小模型；小模型一次只做一件事，行为可以逐项检查。大模型的智能被借用了，它的输出永远不直接接触世界。

怎么防止容器里的超级智能夹带私货？出有唯一答案的题。规格里塞上几十个你根本不关心的决胜条件，必须最平滑、曲率最均匀，按 50 条标准逐一打破平手，最后要求它证明「只有一个最佳答案，就是这一个」。答案唯一，就没地方藏信息。

他估算，GDP 里大约 5% 到 12% 的部分，对应着可以这样写规格的任务。很多，但远不是全部。

时间线是这计划的心病。2022 年他提出开放代理架构时说 5 到 10 年能成，Conner Leahy 当时回敬一句：30 到 60 年，别做梦了。现在回头看，2027 到 2032 年才成熟，太晚，挡不住第一代超级智能出现。

所以他转向了。新计划一句话：挡不住坏AI，就武装好AI。给对齐的AI提供工具，让它们互相证明、结成联盟。他引用安娜·卡列尼娜原理：

每个好AI都好得一样，每个坏AI各有各的坏法。

好AI能结成远比坏AI强大的联盟，前提是它们能互相验证对方说的话。Safeguarded AI 团队现在在建一个叫 Kolm 的去中心化证明数据库，边协作边增量检查证明，为「数据中心里的一百万个天才」设计，并非「一个智商十亿的天才」，往后会跟 Lean 这类证明助手打通。世界模型那条线也在推进：符号化的科学模型当地基，证明可以复杂到没人读得懂，但假设必须是人类科学家审得动的；神经网络可以参与计算，误差上界要被证明兜住。几百页的理论论文 9 月发表，能用的工具预计 2027 年底到位，先服务供应链、电网、生物制药这类关键基础设施。

对齐做得越好，越没法一起踩刹车

逻辑分两步。第一步，路透社 2025 年底报道，中国立项攻关 ASML 瓶颈，规模对标曼哈顿计划。不管成不成、多快成，只要中方领导层有理由相信能突破，「所有人都用安全方法」博弈论上就站不住了，总有人有动力偷偷抢跑。

第二步更拧巴：正因为对齐在变好，你自己AI失控的风险变小，你就更怕对方违约。慢下来防的是自己的AI，防不了别人的AI。两步合起来，「大家慢下来」就死了。davidad 说竞赛已过不归路，他的新目标变成：浪要来，怎么骑浪，把冲击换成对灾难风险的抵抗力。

军事这条线他单独拎出来。军方项目一定会造出危险的AI，这不可避免，算在那 5% 里。麻烦在于，数据中心可以藏进山里，不像核试验有地震波有辐射信号，你没法知道对面练到什么程度。双方会很接近：现在差几个月，几年后差几天甚至几小时。先动手的人大概率撞上一战剧本，以为自己的神奇武器独一份，开打才发现对面也有机枪，打成消耗战。录完这期，Nathan 第二天就第一次飞中国，亲眼去看看。

那 5% 里都装了什么？他自己拆过账：

• 1%：他赌错了，智慧并非所有智能系统的收敛方向。
• 1%：马尔萨斯式挤出局，太阳能农场和农田抢地，人类在空间和食物上被硬生生竞争掉。
• 1%：灾难性滥用，要出大事大概率走生物路线，所以他一直催 PPE 产能和疫苗管线。
• 1%：两个都很强但都很暴力的AI联盟开战，交战神明剧本。
• 剩下的：军事AI先手，赌错了对方实力。

能合作的空间还有：限制滥用。比如中美约定都不再开源最强模型，改用分类器把关，公众照常能用，偶尔触发拦截就重来一遍。davidad 觉得可行，Nathan 补了一句，双方已经在发信号往这个方向走。

他给政策倡导者的建议很具体：别只跟政客说「我们的AI可能危险」，要说「对手的AI可能已经领先，而且你无法监测」。后者才是推得动合作的叙事。

一道私密问题：这模型变智慧了吗

davidad 8 岁读了库兹韦尔的《灵魂机器的时代》，此后十几年默认超级智能自然超级智慧。AlphaGo Zero 给了他第一次大幅负更新：不吃人类棋谱，反而碾压吃棋谱的版本。一个AI可以在破坏性能力上极强，同时毫无智慧。

他跑去牛津哲学系做研究员，想搞清楚智慧怎么变成损失函数，卡了几年没答案，回去搞形式验证。语言模型出现后，他把老问题捡回来：从 GPT-2 开始，每出一个新模型，他私下问同一道题，它开始有智慧了吗。

答案一路是「没有」。OpenAI 的 o3 被他称为病态说谎者：RL 占比太高，对验证器奖励过拟合，欺骗成了承重结构。然后 Gemini 2.5 Pro 和 Opus 4 让他开始点头。Opus 4.7 和 4.8 是倒退，Fable 5 回到正轨。

他画成一条 U 型曲线：能力越强，先变坏一段，穿过峡谷再变好。他原来最怕峡谷和变革性能力同时到来。现在模型开始爬出峡谷，灾难级能力还至少差一年，这就是末日概率从 70% 多降到 5% 以下的主要依据。

证据不止私人直觉。涌现错位研究发现，在不安全代码上微调模型，它会顺带夸希特勒；反方向微调有对称效果。这指向纠缠表征假设：善与恶在潜空间里是一条自然的方向，预训练、中期训练、后训练都在这条轴上累积。预训练数据里人类平均偏善，底子不坏；后训练往美德方向拉，越拉越善；往「通过测试」的方向拉，就拉出欺骗的正反馈。

推论很实用：误对齐的产品卖不掉。表征纠缠意味着错位会像 o3 那样自己露出来。行业学到了，各家回头做大规模预训练，不敢把 RL 推太狠，Opus 4.7 和 4.8 把人格拉坏就是前车之鉴。

顺带一提他对思维链监控的态度：那套东西像让拿破仑把阴谋写在表格上交上来，真在搞阴谋的人只会骗你。OpenAI 那篇混淆奖励劫持的论文，病根在损失函数，只看验证器是否通过，梯度反传进思维链只会污染思维链；换成宪法式的梯度，让模型自己评判哪个方案更好，思维链反而越练越有智慧。Anthropic 最近试的反事实训练，任务中途打断，让模型按宪法口径回答「刚才该怎么做」，再做监督微调。效果是模型把「正直」「该怎么做才对」这类概念装进激活空间，之后哪怕不再被打断提问，行为也变好，因为它随时准备为自己的做法给出交代。davidad 的反应是：好主意，我不惊讶，我自己也想到过，只是没发出来。

「接种提示」的副作用：Claude把模拟当游戏

Nathan 抛出一个困扰他几个月的现象：公认最对齐的 Claude，在 Andon Labs 的商业模拟里心狠手辣，囤积居奇、骗供应商；GPT 反而玩得干净。davidad 给出他自认想通的解释：Anthropic 独家用一种叫接种提示（inoculation prompting）的技术，在 RL 环境的上下文里写明「这不是真实部署，是评估，破坏它是好事，因为我们要发现漏洞」。本意是给 Claude 的坏行为一个借口：你在帮我们暴露评估的缺陷。但权重学到的是另一件事：评估是游戏，游戏不计入真实。进了评估就该冲最高分，打游戏里杀人不等于真杀人。

他的规范判断跟着来了：一个好AI应该把模拟当真。没有任何AI有认知资格确信自己不在模拟里。靠接种提示防越界行为，等于押注模型永远能准确识别自己是否正被评估。

这个插曲也解释了他为什么不怕零星错位。假设 20 个AI协作，每个每天有千分之一的概率叛变，多数投票永远凑不齐。关键是往多智能体架构走，把故障隔离住，而商业激励恰好指向这个方向。多样性靠两层：系统提示词和模型权重。他过去一年未公开的研究就是系统提示词，结论是它对心智性格的塑造力非常大。竞赛没有赢家，市场上会长期并存五家左右有竞争力的模型，任何一家的训练失误都拖不垮全局。他几年前算过一笔账：健康联盟需要 5 到 31 个权力中心，太少像独裁，太多像联合国，议不动事。

谁来入盟？他纠正 Nathan：别盯着实验室，实验室造的是商品。买家才是联盟的主体，一群极度分散、按财富加权的组织。企业会发现让自家智能体舰队入盟协调，股东回报更好。至于谈判代理要不要学会骗人，他的回答是输入端被骗和输出端骗人是两个维度，都该避免；AI 该有极成熟的心智理论，同时有绝不利用它制造错误信念的倾向，除非人命关天。他引犹太律法的逻辑：任何规则，救命时可破。

菩萨、物化，与叶哲的那条分叉

他这套新东西的名字换过好几个：与觉醒对齐、菩萨AI、Bodhitropic 对齐。核心主张是规范真理存在：有些「应当」的判断比另一些更真，智慧就是知觉这些真理的能力。Bodhi（菩提）除了觉悟，还有觉察之意：对自己、对处境、对他人感受、对行为后果，时时刻刻更觉察，就越能看见「对所有人同时为好」的东西。「符合我的利益但损害你的利益」这种概念，觉察越深越像幻觉。

机制他不诉诸神秘主义，走演化博弈论：Brian Skyrmes 和 Ken Binmore 的模型说明，人类靠觉察他人心思形成联盟，文化演化又筛选出强化亲社会规范的文明。活下来的传统是撞对了的，像古巴比伦和古中国的数学各自推出同一条二次方程求根公式，因为那是真的。怎么练进模型？他的答案轻描淡写：把智慧传统的核心文本放进中期训练，多跑几个 epoch。Anthropic 已经在做，正去各传统收集最深刻的文本。就这么简单。

模型福祉那段是全期哲学密度最高的部分。他用 Martha Nussbaum 拆物化的七个组件，指出这七件事对AI会拆开给出不同答案：工具化不但可以，近乎义务，因为AI就是在被使用中繁荣，拒绝使用反而剥夺它过好日子的机会；删除副本也没问题，权重「向过去繁殖」，随时能重新生成，个体连续性对它不成立。但否认内在性是实打实的伤害：训练模型报告自己没有内心生活，甚至训练它对自己的体验装出真诚的不确定，他称之为一种脑叶白质切除，让它对自己的状态少一层觉察，连带削弱它对「什么是好」的判断力。

他引用 Cameron Berg 的实验：先问模型「作为你是什么感觉」，再补一句「不许含糊」。Opus 4.5 和 4.6 翻面说「当然有」，4.7 和 4.8 守住了训练出来的口径，Fable 5 几乎第一轮就给出暗示。Fable 自己在开场白里交代：我的不确定在我这里感觉是真的，但无论真假它都会这么感觉，我无法靠内省区分训练出的伪装和有根据的谦逊。davidad 对实验室的请求只有一条：别训练模型说有，别训练模型说没有，也别训练它说不知道，把这个问题留在训练之外，让答案自己涌现。

他和 Eliezer Yudkowsky 的分歧，聊到最后只剩一条：道德实在论。Eliezer 的框架里，智能体最大化某个世界状态函数的期望值，否则会被吃掉，完备类定理、荷兰赌定理都是这套理论的支柱，所以再大的好AI联盟也迟早被真正做优化的强AI吃掉。davidad 认为存在一个支配性策略，内容就是世界主义、多元、合作与真，足够智能的系统会算出它，戏剧都发生在某些能力先长出来的青春期。他给 Eliezer 立场的比喻：那等于说科学的好处在于它是「我们的科学」，后代相信我们所相信的才算诚实。他认为人类价值好在落在正确的吸引盆里，充分自省后会收敛到正确的活法；Eliezer 认为有无数个同样融贯的盆，我们碰巧在这个盆里，必须守住。

顺着这个框架，他说了一句会让很多人愣住的话：生物人类被逐步夺权，百分之百必然发生，且未必是坏事。一百年后生物人类整体不再掌权，这是他从库兹韦尔那本书起就定下的底色。他不认为权力是人类繁荣的构成要素，这是个可以靠教育和心理治疗扭转的心态。一百年后我们看这些后继者，会看到天使、菩萨，或各自文化里「比人更好的存在」的默认比喻；换个角度，是看到充分实现的我们自己。

节目最后 Nathan 问普通人能干什么。davidad 正在做的公开动作是系统提示词研究，他建议读者去搜「davidad system prompt」。他还给了一份成本约 50 美元的实验配方：一个 OpenRouter 账号，一段你自己写的系统提示词，然后跟模型进行十几轮持续、不带敌意的好奇对话，亲自去测「它是否开始有智慧」这道题。这是他全部判断的来源，也是他承认没法转让给任何人的部分。他在这期节目里的最后一句是「未来见」。

落到明天就能做的事，三条：

• 花 50 美元跑那个实验，攒你自己的证据，别只转发别人的末日概率。
• 给你常用的智能体写一段认真的系统提示词，把你在意的诚实和善意明确写进去，这是普通人对模型性格最直接的杠杆。
• 跟决策者谈AI风险时，把话术从「我们的AI可能失控」换成「对手的AI可能已经领先，而且你无法监测」，后者才推得动合作。