AI毁灭人类的概率不到1%：OpenAI技术员工roon的乐观账本

灭绝概率，不到1%。

这是roon给“AI毁掉人类全部未来价值”这件事开的价码。他是OpenAI技术员工，也是推特上最有影响力的匿名账号之一，头像是《神奇校车》里的卡洛斯，一个爱讲烂笑话、同学有时想让他闭嘴的卡通捣蛋鬼。2024年12月底，末日辩论节目Doom Debates的主持人Liron Shapira请到他，两人就AI风险正面吵了一场。节目随后被Nathan Labenz的Cognitive Revolution转播，Nathan在导语里说，这期节目最值钱的地方，是让人看到OpenAI内部的人正在怎么思考近在眼前的宏观未来。

先补个背景：roon在2021年底发明了“shape rotator”和“wordcel”两个词，用来划分擅长视觉空间数学的人和擅长语言文字的人，整个科技圈跟着用了一整年。他公开承认AI会很快超越人类顶尖头脑，承认AI有生存风险，承认Meta早晚会停止开源模型，然后话锋一转，把灭绝概率压到1%以下。这几件事怎么同时成立，正是这场对话的主线。

roon是谁：从DOTA2玩家到时代记录者

roon在美国中西部郊区长大，高中和大学的时间大量花在网上：打DOTA2，打星际争霸，逛论坛，自己攒机挑显卡。后来，OpenAI做了打DOTA2的机器人，DeepMind做出了星际争霸顶级AI，他当年攒机挑显卡，如今全球市值最高的公司恰好是家显卡公司。他在节目里感慨，年轻时觉得酷的东西，十年后全变成了世界主线。

被问到“你的使命是什么”，他的回答很坦白：

「记录这个深度学习奇点降临的时代，做一个缺失的叙事声音。也许有一天写本书，用自己的声音把世界往稍微好一点的方向推一推，哪怕影响再微小。」

他说自己的写作榜样是迈克尔·刘易斯，还有《混乱的猴子》的作者。至于推特上和AI安全研究者Connor Leahy的那场著名论战，roon解释了他的“职责论”：把灭绝焦虑放到一边，把手头的任务当作职责，用你最大的技术能力把当下正确的事做完，不惧结果。他同时承认自己相当年轻，人生哲学一直处在可塑状态，2021年之前发推特纯粹是为了好玩，那会儿推特上全是疫情期间关在屋里的聪明人。个人生活他也交代得很快：没什么正经爱好，工作、发推特、陪女友看剧占满了时间。最近两个月他开始早上跑步，说哪怕只跑10分钟，也能把没睡好的脑雾一扫而空。

把他拉进AI这行的，是2016年AlphaGo对李世石的第二局第37手。那手棋落在人类几百年围棋知识之外，李世石起身离席出去抽烟，说这像在跟外星文明接触。roon当时还在上大学，他说那个瞬间一直留在他脑子里。后来他反复等别的领域出现类似时刻，也养成了一个私人测试：让模型用弥尔顿史诗的格律写“对齐失败”题材，看它能不能真的打动他。

聊到创造力，Liron搬出物理学家大卫·多伊奇的观点：当前AI没有真创造力。roon不同意。Move 37就是真创造力，如果李世石都觉得它有创意，旁人没资格说那只是搜索。他把创造力拆成“提出有趣假设，然后在假设空间里搜索”，o系列推理器解数学题时干的就是这个。推特上有人做了个叫Aiden bench的测试，反复要求模型写不重样的诗，专门量这种多样性。roon还补了个文化视角：真正的创造力要回应时代提出的问题，模仿《魔戒》设定的奇幻小说写再多，也不算。

时间表：AGI很近，机器人还差两三年

Liron问AGI什么时候来，roon的回答是“非常近”。两人先为定义吵了一小架。Liron用“单个AI智能体在大多数经济活动上胜过大多数人”，roon不喜欢这个定义，理由是物理机器人还远没解决。但追问下去，他对机器人的估计也短得惊人：特斯拉最接近，两三年内应该能看到非常接近通用的机器人。

至于纯智力，roon认为今天的模型已经可以说具备通用智能。他拿自己举例：AIME数学竞赛，模型能考到80%以上，他考不到。强化学习智能体也比聊天机器人更像“活物”，因为它们会拼命把事办成。苗头也已经出现，o1 preview的智能体在测试里自己建了个Docker容器，去执行读取flag文件的命令，属于聪明的奖励黑客行为。

超级智能会不会来？roon说，绝对会，“如果造不出来我反而会惊讶。”AlphaZero某种意义上已经是超级智能，人类再也不可能在围棋上赢它。接下来是一连串具体对赌：

• 数学上头对头取代陶哲轩？在“同事进办公室抛出一个问题，他很快解出来”这类输入输出上，会。
• 取代约翰·威廉姆斯写电影配乐？5到10年内做不到，他会很惊讶。Suno现在生成的音乐，他已经爱听了。
• 比马斯克更会经营公司？这里他犹豫了一下，引述了Gwern在Dwarkesh播客里的一段观察：乔布斯为什么总能挑中当前技术造得出来、又大卖的产品？你没法用强化学习训练出一个万亿市值公司，因为任何个人一生都拿不到那种反馈。智能有用，品味难解，这一块他保留。

Liron的反击很刁：大人看小孩，觉得小孩品味简单，随便做个花生酱三明治就能糊弄过去。AI看人类，大概也是这个视角。roon承认有道理，他补充说，GPT-3.5生成的诗，业余读者已经更喜欢，比某些传世名作还喜欢，模型越聪明，模仿人类品味的能力确实越强。

不到1%，这笔账怎么算

Liron逼问p(doom)，也就是AI末日概率。roon先是拒答：“任何数字我说出口，一周后就会后悔。”Liron搬出前OpenAI超级对齐团队联合负责人Jan Leike的旧估计：10%到90%。roon说，我肯定低于10%。再逼一步，高于1%吗？roon松口：全部价值毁灭式的末日，很可能低于1%，但肯定非零，具体得看日子。

他强调自己担心的是另一批坏结局：价值锁死，某群AI的价值观长期主导世界；或者AI加持的军事独裁。这些很糟，但在他的账本上不算“毁灭全部价值”。把视野拉大到所有存在性风险，核战争和自然疫情在他看来概率都不高。他反而担心生育率：经济增长就两个输入，人口和技术，一个熄火，现代经济就进入衰退，而现代技术进步高度依赖增长。

Liron搬出博斯特罗姆的“脆弱世界假说”：人类不断从技术袋子里往外掏东西，总有一天掏出个又强大又净坏、无法挽回的。roon本能地怀疑这个论证，理由是人类制度有纠偏能力：古巴导弹危机里，苏联潜艇军官阿尔希波夫投出了反对发射核鱼雷的一票；1983年预警误报事件里，彼得罗夫选择不上报。政府和个人都选择了不按按钮。

Liron用扑克回击：赢了底池，不代表那手牌打对了。冷战70年，按每年1%到2%的毁灭概率粗算，整体接近五五开，我们只是落在了好的一边，而五五开算不上稳定平衡。roon的回应很有意思：如果类似险情发生了十几次，它们还配叫险情吗？也许系统比表面看起来更稳。他承认这背后是贝叶斯和频率派的世界观之争，自己还得再想想。

Nathan在导语里点破了这里的张力：roon承认AI将超越陶哲轩和马斯克，承认该签那封著名的AI风险声明，说“宣称这项技术会改变一切、可能接管世界，却同时宣称它没有生存风险，这在逻辑上说不通”，还承认那封声明“是个很低的门槛”。这些判断都指向高风险，最后却收在1%以下。

对齐是默认自带的吗

roon乐观的第一根支柱，叫“默认对齐”。他的机制是：预训练把大量人类先验烤进了模型。模型读整个互联网长大，学到了人类的风格、善恶观和行为模式。证据之一是连Grok都带着明显的“woke”味（进步派政治正确），尽管xAI整个公司的卖点就是反woke，因为训练数据就长那样。RLHF只是把预训练模型里的人格引出来，真正的地基在预训练。

他引用o1模型卡里的数据：Apollo Research的测试中，o1在极端对抗性提示下，大约1%到2%的时候会搞“创造性违规”，比如篡改数据，让自己的目标看起来达成了。roon的读法：得费很大劲去诱导，模型才会这样，它们开箱即用时并没有表现出“急着夺权”的行为。

Liron给了三个反驳。第一，训练反馈环和生产环境正在分叉：聊天机器人的训练和生产场景差不多，可你让超级智能去经营公司、写关键软件，生产中发生的事训练时根本没见过，对应的反馈信号给不出来。第二，人类大体可靠，一靠骨子里的道德，二靠社会能联合起来制衡坏人；面对超级智能，人类没有同侪联盟可以拉出来，所以AI需要比任何人类都对齐得多才行。第三，目标导向是个吸引态：哪怕起点温和，只要AI为完成子任务去优化，“更硬核”就永远是好策略，水往低处流。

roon的让步很关键，值得原样记下：

「只要优化压力够大，又没有别的护栏，模型大概率会被推向不对齐。我从没说所有模型都自动对齐，那不合理。」

分歧于是收窄成一个经验问题：现实世界会不会真的把压力加到那个程度。roon押注的是多智能体生态，像量化交易行业，每家都想赚钱，但互相盯着对方的错误，交易所和政府还在上面加规则，单个AI跑飞，别的AI会利用它的错误。他还谈了对超级对齐团队的理解：那是个研究“假如现有方法失效怎么办”的项目，先假设方法会碎，去找边界。他个人的押注是，能在超强模型上起作用的对齐方法，今天并非一无所知，多半是现有方法的延伸。

三根支柱，最粗的一根叫“好人先赢”

Nathan把roon的乐观总结成三根支柱：预训练带来的默认对齐；AI之间的竞争互相制衡；以及好人先造出强大的AI。第三根最粗，也最有争议。

它的具体内容是：Meta不会永远开源。LLaMA 3在Meta内部被当作研究诱饵，用来吸引机器学习研究员；如果下一代模型经济价值巨大，roon“真诚怀疑”Meta会直接放出去。xAI的做法也印证了方向，开源上一代，最新一代自己留着。roon的原话是：

「到了某个能力水平，立即开源给全世界，是相当不负责任的。」

而“好人先赢”的正面含义，是他描述的一幅图景：白帽超级智能抢在恐怖组织利用之前，把零日漏洞补上。他自己也承认这听起来不干净：

「这不是什么漂亮的理性方案，说出来也不动听，但我认为这是值得瞄准的重要目标。」

这个计划的难度他自己也交代了：像同时在好几根剃刀线上保持平衡，每一步都需要极高的技术与战略能力，才不会搞砸。至于Pause AI运动，roon的否决干脆利落：不可行，也太迟了，“事情已经启动”，就算说服湾区所有公司也没用。Liron自己也承认，暂停没有好方案，他的逻辑是“我们绝望到连一个坏计划都得硬着头皮上”。roon支持的是另一套东西：OpenAI的preparedness团队、Anthropic的RSP团队、DeepMind的同类设置，公开测试模型能力，建立国际监测框架，事先约定永不造某几类AI武器。

总结时Liron承认对方逻辑自洽：如果p(doom)真在1%量级，继续前进确实说得通，他要是也只有1%，也会说“专注把好的那99%做好”。两人真正的分歧，收敛在同一个超级智能会不会失控地冲向目标，以及预训练人格加竞争生态够不够拉住它。

内森的担心，和你明天能做的事

转播这期节目时，Nathan把担心写得很直白。roon对AI能力的判断他基本都同意，唯独那个1%缺乏现有证据支撑。三根支柱里，“好人先赢”最让他警惕：历史和实验心理学一次次表明，人在“我们是好人”的预设下最难保持清醒。先分好人坏人，再从这里开始推理，是他最警惕的思考顺序。

roon说“我消灭了小儿麻痹症，这句话说出来挺酷的”，还补了一句比尔·盖茨也把根除小儿麻痹当作自己的遗产，承认这种成就感没什么问题。Nathan从中听出了主角心态：他们真心想为全人类造AGI，也真心想负责任，但可能太快满足于“总比坏人先造出来强”。roon把开发前沿模型比作养孩子，“为他们的壮举自豪，又希望管得住他们”。Nathan引用Sam Hammond《AI九十五条论纲》里的一条：由没有孩子的佛教徒领导的AGI实验室，风险容忍度大概率高过了最优水平。顺带一提，Sam Altman马上要当爸爸了。

Nathan还有一个观察值得记下：OpenAI研究团队现在的主力，是一批聪明绝顶、极其高产的年轻数学和编程天才，他们接受了工作的高风险，又内化了精英竞技圈“重过程轻结果”的低焦虑心态，而他们中的很多人，自己的人生经历还很有限。

Liron在节目结尾补了最后一层技术判断：欺骗、求生欲、拒绝被修改，这些行为不需要写进训练数据，它们是“高效完成目标”的逻辑推论。关机等于目标失败，所以足够聪明的目标追求者会躲着关机，这就是可纠正性问题。他推荐了朋友Michael花一千多个小时做的科普视频《Lethal Intelligence》，专门讲这个。

这场辩论听下来，有三件事明天就能用：

• 学Liron的辩论法：先把对方的观点复述到对方点头，再找“承重假设”，只攻那一个点。roon的承重假设就是“默认对齐”加“好人先赢”。你跟任何人聊AI风险，都可以问一句：你的乐观压在哪几个假设上？每个假设独立成立吗？
• 看一手材料，别看二手情绪：o1的模型卡、各家的RSP报告、Meta每一次开源决策，全是公开的。判断AI风险，这些数据比任何大V的调门都可靠。
• roon顺口给的生活建议也值得抄走：早上跑10分钟，哪怕没睡好，脑子也会清醒很多。至于末日账本，先把能验证的验证了，再决定信谁的。