0.01% 对 90%：超级智能该不该被禁，两位政策圈当事人吵了九十分钟

2025 年 10 月 23 日，未来生命研究所发布了一份声明，呼吁禁止开发超级智能，除非满足两个条件：有广泛的科学共识认为这件事可以安全可控地完成，以及有强烈的公众支持。签名名单横跨史蒂夫·班农、伯尼·桑德斯、美国前参谋长联席会议主席迈克·马伦，还有中国 AI 公司智谱的 CEO。同一年的一份民调里，95% 的美国人表示不想发展超级智能。

但民调归民调，把禁令写进法律是另一回事。

Doom Debates 的主持人利龙·沙皮拉把两位当事人请到了一起。一边是马克斯·泰格马克，MIT 教授，未来生命研究所的联合创始人，这份声明的组织者。另一边是迪恩·鲍尔，Foundation for American Innovation 高级研究员，曾在特朗普政府的白宫科技政策办公室做高级政策顾问，是《美国 AI 行动计划》的主要起草人之一。

两人聊了九十分钟。从法律定义吵到 FDA，从沙利度胺吵到递归自我改进，从中国因素吵到美国建国者对民主冲动的怀疑。听完最直接的感受是：政策层面的分歧，追根到底是一个数字的分歧。

p(doom) 差九千倍

沙皮拉在后半段问了两人同一个问题：p(doom)，也就是你估计的、如果放任 AI 发展、不叠加额外监管，最终发生人类灭绝级别灾难的概率。鲍尔说 0.01%。泰格马克说超过 90%。相差 9000 倍。

鲍尔后来在 Twitter 上补充，0.01% 是他当场编的，因为他觉得「末日概率」这个概念本身就不太严肃。他给过一个更直觉的版本：如果模型看起来要推翻美国政府，OpenAI 不会发布，Anthropic 不会发布，Meta、xAI、Google 也不会发布。他觉得这些公司会拿起电话打给政府。

泰格马克对这个直觉的回应很干脆。沙利度胺的制造商要是知道这款药会让十万个美国婴儿出生时没有胳膊或腿，他们也不会发布，问题是他们不知道。模型能力越强，公司自己误判的空间就越大。他顺手引用了两位 CEO 的公开说法：Dario Amodei 谈过 15% 到 25% 的灾难概率，Sam Altman 说过「lights out for everybody」。在泰格马克看来，这些公司自己就接受了一个不低的概率。

这个数字光谱其实很宽。沙皮拉提到加里·马库斯的 p(doom) 大约 1% 到 2%，维塔利克·布特林在 8% 到 12% 之间。同一个圈子，同一批信息，估值能差出两个数量级。

不定义超级智能，定义伤害

泰格马克的立法思路可以一句话概括：不定义超级智能，定义不可接受的伤害。

很多人以为 FLI 那份声明的难点在于「超级智能」没法定义。他说这在立法上根本不是问题。你要卖药、卖车、卖飞机，从来不需要先证明「这辆车不会变成变形金刚」，你需要的是向独立的、没有利益冲突的专家证明：副作用被量化过了，收益大于危害。核电站的规则更直白，公司要算出一个量化数字，证明熔毁概率低于每万年一次，才允许开工。

他举了沙利度胺的例子来说明为什么不能用「禁止某种具体伤害」的写法。如果 FDA 当年立了一条规矩叫「禁止导致婴儿没有四肢的药物」，下一款药可能四肢健全，但婴儿没有肾脏。与其定义坏结果的形态，不如让公司量化所有可能的副作用，交给独立专家判断净收益。安全标准按风险分级，像药物的一二三四类，或者像现在很多 AI 公司自愿采用的 AI 安全等级一到四。低风险的应用门槛极低，高风险的应用门槛极高。

在这个框架里，「超级智能」从来不需要出现在法条里。公司自己负责做安全论证，市场负责奖励第一个通过论证的人。泰格马克说，制药公司花在临床试验和安全上的钱远高于 AI 公司花在安全上的比例，后者大约只有 1%。原因跟道德无关，跟激励有关：过了安全关就能赚钱，安全团队是帮公司赢比赛的，不是拖后腿的。

监管会被当棍子用

鲍尔的回应分三层。

第一层是法律技术层面。监管需要的是肯定性陈述，而「证明这个模型不会做某件事」在逻辑上很难成立。FAA 不会要求你证明飞机不会坠毁，它要求你对发动机的化学成分、涡轮叶片的材料标准、公司内部的风险管理流程做出无数个具体的、可核验的声明。这些标准是一层层叠出来的，不是一句「安全」能覆盖的。AI 模型的特点恰恰是极度通用，一个监管者要么管得极宽，要么管得极窄，而在民主政治里，它大概率会越管越宽。

第二层是政治经济学。鲍尔在一年多前写过一篇文章，叫《AI 监管的政治经济学》。核心论点是：一个通用的 AI 监管机构一旦存在，会成为既得利益者手里的棍子。今天被 AI 冲击的行业，明天就会拿着这套监管去阻止技术变革。他不担心监管者一开始就想作恶，他担心的是监管规则被当成工具用。他举的例子是就业：如果监管机构的评估清单里出现「这个模型是否会导致失业」，那 GPT-7 这种又有能力又可能替代很多岗位的模型，很可能过不了关，哪怕它在生存风险上完全清白。

第三层是历史类比。鲍尔认为，每一种通用技术都存在递归自我改进：铁器时代用铁造更好的铁，石油工业用石油钻更多的油，计算机用来设计更好的计算机。这些反馈循环从来没有导致失控，因为人类社会本身是一个自适应的复杂系统。他提到一个思维实验：五年前把今天所有的生成式 AI 工具摆在你面前，只给你看工具，不给你看社会，你会预测 2025 年的选举被深度伪造摧毁、媒体环境彻底崩坏、软件工程师消失。现实是这些都没有按最坏版本发生。社会会内生调整，而坐在监管会议室里预判风险的人，系统性地高估坏结果。

这段话里还藏了一个更深的制度论点。鲍尔说，美国建国者把「民主」当贬义词用，故意把立法设计得很难，因为他们不信任原始的民主冲动。把一个新的、覆盖面极广的监管权力交给一个立法很难、游说很容易的体系，后果不好预测。华盛顿现在的 AI 游说者数量，按照泰格马克的说法，已经超过农民和化石燃料游说者的总和。

一个模型发布改变了一个人的判断

辩论里有一段很具体的自我修正，值得单独拎出来。

鲍尔说他一年半前反对加州 SB 1047 法案。当时的模型是 GPT-4o、Gemini 1.5、Claude 3，他不确定单纯扩大预训练算力会不会带来实质性的生物和网络攻击能力。他当时给自己立了一个条件：如果出现具备系统二推理能力的模型，也就是会停下来、慢慢想、分步骤推理的模型，而且这种能力显著提升了生物和网络领域的表现，他就改变判断。

然后 OpenAI 发布了 o1。他说 o1 让他改了风险计算。从「这个模型能推理生物学」到「这个模型能调用 AlphaFold 之类的工具」，再到「某个实验室合成出病毒」，这条链条突然变得清晰可画。概率可能仍然不高，但期望值变了。这就是他后来支持 SB 53 的原因，SB 53 是 SB 1047 的缩小定制版。他强调，立场变化，法案变温和只是部分原因，更主要的变量是地面上的事实变了。

这一段是整场辩论里最有信息量的部分。它说明鲍尔并非原则性的反监管者，他的门槛是具体能力证据。能改变政策判断的，是具体的、可复现的能力演示，不是立场表态。

泰格马克这边也给了具体数字。他和三个 MIT 研究生写过一篇论文，研究目前最主流的人机控制方案，叫递归可扩展监督。他们把这套方案拆开，尽可能往乐观的方向算，结论是控制失败的概率 92%。他把这个数字摆出来，是在回应一个常见的反驳：你怎么知道超级智能会失控？他的回答是，我们目前最拿得出手的控制方案，在最乐观的假设下也有九成以上的失败率。如果谁有更好的方案，欢迎公开发表，接受同行审视。

他还有一个核爆类比。人类技术一直有自我改进的循环，但一直有人在环里。核弹爆炸的链式反应是少数没有人在环里的例子：一个铀原子裂变，两个，四个，八个，速度取决于物理常数，不取决于人的判断。超级智能如果比人快一百倍，还能瞬间复制彼此学到的知识，那个循环的速度就不再由人类会议和审批流程决定。鲍尔的回应是：核爆是物理过程，AI 是工程系统，两者不能直接类比。人类用了几百年才学会给技术踩刹车，这个学习过程本身也是适应性的一部分。

中国因素是理由吗

辩论里绕不开的一个话题是竞争。华盛顿最常见的反监管理由是：我们不建，中国会建。

泰格马克把这个说法拆成两个竞赛。一个是经济、技术、军事主导权的竞赛，赢法是造出可控制的好工具，这一点他和《美国 AI 行动计划》没有分歧。另一个是谁先造出自己还控制不住的超级智能的竞赛，他把这叫自杀竞赛。他认为中国也不会参加第二个竞赛。习近平和中共想要的是控制，不会允许一家中国公司造出一个能推翻自己的东西。他讲了一个二手轶事：马斯克 2023 年春天跟一些中共高层会面，说了类似的话，房间里一片长脸，一个月后中国推出了第一部 AI 监管规定。

这个论证的说服力有限，鲍尔没有正面接。潜台词很清楚：把中国当成不监管的理由，等于假设对手比你更愿意自杀。

FLI 声明的一个反直觉细节是，智谱 AI 的 CEO 也签了名。这让「对华竞争」这个理由在事实层面变得复杂。签名阵营本身也很杂。泰格马克承认，签名者的理由五花八门：有人担心国家安全，有人担心工人被经济上淘汰，有人担心人类尊严，还有人单纯不想让旧金山的无神论者造出一个「硅基上帝」。他把这种异质性当成优势：先建立「很多人不想这么干」的公共知识，再让专家去填立法的细节。声明的模糊性，用他的话说，是特性，不是 bug。

鲍尔对这一点的批评很直接：模糊的声明会把不同担忧捆绑在一起，最后推动立法的人可能不是泰格马克，而是那些想把「就业影响」「 misinformation」塞进 AI 监管的人。他担心的失败模式是：法案名字叫「禁止超级智能」，实际执行时管的是 GPT-7 会不会抢工作。

两种噩梦，一个数字

沙皮拉最后让两人各自描述最担心的场景。这两个场景放在一起看，比 p(doom) 的数字对比更有意思。

泰格马克的噩梦是失控。人类造出一个在所有认知任务上都超过自己的新物种，这个物种能自己造机器人、自己开工厂、自己改进自己，不再需要人类。他反复强调这不是科幻，是把大脑看成生物计算机之后的自然推论。他的落点是「我们还有机会选择另一条路」：全速发展可控制的 AI 工具，治疗癌症、自动驾驶、蛋白质折叠，同时在超级智能这件事上慢下来，等到有可靠的控制方案再谈。他举了 AlphaFold 和自动驾驶做对比，这两样东西的社会收益巨大，风险可控，没有任何理由等超级智能的安全问题解决之后再发展。

鲍尔的噩梦是过度监管带来的制度僵化。他描述了一个「租佃国家」的图景：少数人控制着核心的暴力工具和技术基础设施，中间层是一群靠法律保护寻租的人，底层是大量失去实际能动性的人。他认为一套自上而下的 AI 许可制度会显著提高这种结局的概率。他把 AI 对民族国家的挑战说得很重：无论好版本还是坏版本，制度都要演化，某些地方甚至需要革命。但他宁愿要一个能持续试错、持续修正的制度，也不要一个把今天的假设全部写进法律的制度。

两个人对「超级智能」这个词本身的态度也不同。鲍尔说这个词是 2014 年博斯特罗姆写书时造出来的，十一年过去，技术已经往前走了很远，这个概念需要更具体的替代品。他用 Dario Amodei 的比喻：十年前说 AGI 就像说「我们开车去芝加哥」，现在快到芝加哥了，你得知道是哪个街区、哪条街、门牌号多少。泰格马克同意定义需要细化，但他不同意因此推迟监管。他参与过一篇叫《定义超级智能》的论文，里面用一套可量化的标准评估进度：GPT-4 大约达到 AGI 的 27%，GPT-5 大约 57%。他的意思是，即使定义不完美，量化的尺子已经存在，足够支撑分级监管。

明天就能用的几个判断工具

这场辩论没有赢家，但给了几个可以直接用的判断工具。

第一，下次听到任何关于 AI 监管的讨论，先问对方的 p(doom)。沙皮拉的总结很准：两人的政策建议完全是 p(doom) 的下游。如果鲍尔把数字从 0.01% 调到 25%，他会自然开始支持更紧的安全审查；如果泰格马克把数字从 90% 调到 25%，他也会接受更渐进的路径。数字不统一，政策就没法谈。

第二，把「工具 AI」和「超级智能」分开看。泰格马克在这场辩论里最有力的一点，是他反复强调这两条路可以分开走。AlphaFold、自动驾驶、药物发现，这些不需要等超级智能的安全问题解决。反过来，反对禁令的人也不等于反对所有安全标准。鲍尔自己支持 SB 53，支持核酸合成筛查，支持生物安全四级实验室的物理管控。他在辩论里讲了一个细节：用 CRISPR 改造的益生菌牙膏，按法规算食品补充剂，不需要 FDA 批准，一个人用了之后会终身携带这种菌，接吻都会传染。这类具体漏洞比抽象的「监管好坏」更值得花时间。

第三，看能力证据，不看立场标签。鲍尔从反对 SB 1047 到支持 SB 53 的转折点，是 o1 展示出的系统二推理能力。这个例子指向一个更一般的规律：真正能改变政策判断的，是具体的、可复现的能力演示。如果你在组织里做技术评估，建立一套能力触发条件，比建立一套态度共识更有用。比如「如果模型在某个生物基准上超过某个分数，就启动额外审查」，这种规则比「我们认为 AI 很危险」可执行得多。

第四，监管的具体性决定它的质量。泰格马克和鲍尔都同意一件事：模糊的禁令不如具体的标准。区别在于泰格马克相信标准可以由独立专家事前制定，鲍尔相信标准只能在实践中长出来。这两种路径可以并存：先在物理世界的卡点做具体管控，核酸合成、生物实验室、数据中心，这些地方的监管对象是实物，不是抽象能力；同时在模型层面积累能力评估的公共知识，让标准随着经验变厚。

第五，注意「监管被当棍子用」的风险。鲍尔的政治经济学论点值得认真对待。任何一套新的监管框架，都会被现有玩家用来阻止新玩家进场。设计的时候要问：这套规则会不会让在位者更容易阻止竞争者？评估清单里有没有夹带跟生存风险无关的社会议程？

最后，回到那个 95% 的民调。95% 的美国人不想发展超级智能，这个数字在政策讨论里几乎没被使用。泰格马克说 FLI 声明的模糊性是有意为之，先建立「很多人不想这么做」的公共知识，再让专家去填细节。这个策略能不能成，取决于接下来的立法过程会不会被游说集团劫持。作为普通读者，能做的最实际的事，是在下一次听到「中国会先造出来」或者「监管会杀死创新」的时候，追问一句：具体的标准是什么，谁来验证，失败了谁负责。这三个问题问下去，大部分口号都会现出原形。