毁灭概率报「10%到90%」的AI主播，被同行逼着照了照镜子

「你认为人类因AI灭绝的概率是多少？」在AI圈，这个问题有个缩写：P(doom)。

内森·拉本兹给出的答案是：「10%到90%，大部分权重压在低端。」

内森是Cognitive Revolution的主持人，哈佛化学系出身，在硅谷做过几年创业，后来反潮流搬回底特律，创办了视频广告公司Waymark，那是最早接入GPT-3的企业之一。他自称AI圈的阿甘，总在不设防的情况下路过历史节点，比如成为最早拿到GPT-4预览版的客户，又混进了红队。提问的人叫利隆·沙皮拉，播客Doom Debates的主理人，他自己的标准答案是50%。

10%到90%，等于连第一位有效数字都放弃了。利隆却把这归入「理智区间」：低于5%或高于95%才叫不讲理，因为谁也没有数据撑得起那种精度。

2025年4月，两人做了期串台节目。他们2010年就在硅谷认识，都在创业，对AI的判断也接近，所以节目里没有辩论环节，两个人坐在桌子同一侧，把最近几周的新闻和热帖挨个盘了一遍：GPT-4o的图像生成、Replit CEO的「别学编程」、OpenAI的3000亿美元估值、Twitch联合创始人的新对齐公司。盘到后面，话题一度滑到96%的哺乳动物生物量被人类吃掉或驯化。

「你是不是温水里的青蛙」

利隆在节目里给内森出了道题。一个技术背景的听众连听十期Cognitive Revolution，恐怕带不走「我们可能真会完蛋」这个信息。你的节目内容，配得上你的概率判断吗？利隆自己逢人就讲毁灭概率偏高，他希望内森这种拥有大众听众的中间派也把话挑明，把公众讨论的边界往外推。

内森的回应相当坦诚。天天泡在这些话题里，10%到20%的尾部风险听久了确实不刺耳，他可能真成了温水里的青蛙。他已经在每期节目开头加一句「这件事的赌注高得离谱」，现在考虑再加一条固定提示，顺带报一下自己的P(utopia)。他真心觉得乌托邦比毁灭更可能，目前自居中立分析者，不排除以后转向更旗帜鲜明的倡导者。但他补了一句：就算俄罗斯轮盘的转轮里只剩一颗子弹，也没人该拉扳机，而这场赌局里，全人类都坐在桌前。

他引用朋友戈帕尔的话：别光纠结概率是多少，多想想能把概率推到哪。他把风险拆成两块，一块是研发这类技术几乎绕不开的底仓风险，另一块是他说的「愚蠢风险」：把AI当武器，超级大国全速军备竞赛。愚蠢风险理论上完全可以避开，却可能把底仓风险放大十倍，而眼下人类偏偏就走在这条路上。

两人还聊到达里奥·阿莫代的改口。达里奥2023年说过毁灭概率在10%到25%之间，最近在访谈里往回缩，称当年讲的其实是「文明大震荡」。内森说得很直白：这让他对Anthropic的信任掉了一截，那些表态读起来更像做给某位「必须一直被点名的人」看的公关。

内森有个提问技巧值得记下：别先问对方觉得风险有多大，先问人类应该容忍多大的灭绝风险。大多数人会给出低于1%的答案。利隆说自己能接受10%，前提是放缓AI的协调成本高到做不到，九成胜率的豪赌值得一试。埃利泽·尤德科夫斯基也是这个逻辑，他不反对九一开甚至五五开的赌局，只是认为真实概率比这糟得多。

内森补了一层：如果公众知道业内不少人揣着这种赔率往前冲，二月那种把自己锁在OpenAI大门上被逮捕的抗议，大概会被视为正常反应。他自己不会去锁门，但认为那已经算温和。

99美元的配音，输给了几分钱的AI

山姆·奥尔特曼发推说「ChatGPT的图像功能眼下有巨大红利」。两人都认账，拆出的红利不太一样。

内森先讲了个自家故事。Waymark过去提供真人配音加值服务，找专业配音演员，99美元一单，行业里算厚道价，公司一分不加，原价转手。文本转语音成熟后，同样的活儿AI只要几美分，几秒出活，还能当场改。那条业务线的量，跌了九成以上。配音老师傅两年前就跟内森说过担心前程，内森当时的回答是：我们都该担心自己的前程。

AI配音至今仍比真人差一点，可「够用、几乎免费、立等可取」三样加在一起，市场就翻了页。内森判断平面设计大概率会重演，也许就在下一次模型迭代的时间尺度上。

这次GPT-4o让他觉得门槛被跨过去了。小商家要的是「看起来像自己」，过去文生图总差口气，Waymark干脆一直没接入，如今只等官方开放API。莱利·古德赛德用一条提示词生成了那张著名的递归截图：一张维基百科页面，词条讲的正是这张截图，页面里还嵌着截图。放大看，最内层的文字已经不成字，第一层却足以乱真。此人靠在推特上连发演示案例，把自己「推」进了Scale AI当提示工程师。一年前OpenAI总裁布罗克曼就晒过GPT-4o生成的黑板照，板书正是「把文本、图像、音频联合建模」。内森甚至拿这个当超级智能的心理模型：把今天前沿模型处理文本和图像的方式，照搬给二十来种我们没有的模态，比如分子相互作用、细胞状态的演化。现在的AI只能把专业模型当工具调用，中间隔着一条损耗巨大的窄缝。

利隆拆出的红利更直接：质量和数量同时到手。一个下午生成一百张高质量图片广告，花一百美元在Meta的投放系统里测试，让算法留下跑得动的，几天迭代出最优解。他给团队下了死命令：这招再不奏效，就放弃Meta广告。

受冲击名单上还有Fiverr，市值从百亿美元级跌到八亿美元上下。公司推出Fiverr Go，帮配音师克隆自己的声音再授权变现，口号是让创作者不可替代。利隆的个人体验更狠：他给节目封面图找过Fiverr和99designs，用过GPT-4o加一点Photoshop之后，决定不再回头。

纳瓦尔发过那张宇航员梗图：AI举枪瞄准「工作」，后面站着「AI工作」举枪瞄准AI。利隆说还缺第三个宇航员，AI会来干掉AI工作。内森同意。他给学生的建议是别去申请基金，直接「靠数字土地吃饭」：外包平台上挂着的活儿，AI本来就能干，客户付钱买的是「知道该用哪个工具」。他清楚这个窗口不长，变革性AI的到达时间，他的八成把握区间是2到5年，但他按2年做计划。

Replit CEO改口：别再劝人学编程了

Replit的CEO阿姆贾德·马萨德转发一段访谈切片，配文：我不再认为你应该学编程了。

「与其学编程，不如学会思考、拆解问题、清楚地沟通。」

有人翻出Replit还在招工程师的截图开嘲：搞编程自动化的公司自己在招码农。这个反驳没打准，阿姆贾德谈的是今天准备上大学的人，四年后毕业时市场还在不在。

内森的判断是，初级开发者的市场已经很难，多数从业者的反应是否认加自我安慰。「软件更便宜所以需求更多」的逻辑还能撑一阵，但他建议看看最懂AI的公司怎么用脚投票：Cursor估值约100亿美元，工程师不到50人；邮件客户端Shortwave增长陡峭，却打算把团队长期锁在15人。Instagram当年十几个人卖10亿美元已经惊掉下巴，如今这个比例翻了几十倍。如果生产力提升意味着要招更多人，最懂行的公司为什么反着来？

内森给了个粗略推演：未来软件总量可能是现在的10到100倍，专职人类只剩一成到两成，留下的人需要最硬核的深度经验。培训班教的React组件、增删改查式全栈应用，正在光速白菜价化；深技术软件暂时没被吞掉，可那行本来就装不下多少人。

利隆承认这事扎心。会写代码一直是他的底气，带着笔记本，全球任何一个角落都能落座。如今他自嘲是编程界的婴儿潮一代：在Cursor里逐行手改代码，年轻人已经全托管，连「氛围编程」概念的提出者安德烈·卡帕西也在往纯对话式写法上迁。

彼得·莱弗斯那条推文被利隆提名为本周最佳：「现在当创业者，比打工更有职业安全感。」利隆的解读：白领工作的潮水在涨，创业者最后被淹到，因为这个身份的定义就是知道往哪跑。内森提醒：不能人人都去沙发缝里找硬币，社会契约得重谈。

风投也被点了名。罗希特·克里希纳断言，信AGI就得信所有编程即将变成氛围编程；伊森·莫利克回了一句：看风投的每一笔决策，他们要么不信AGI，要么想象不了AGI。内森的版本更损：今天大多数风投项目像是要归零，AI平台是黑洞，什么都会被吸进去。

3000亿美元的OpenAI，批评者这次没说错

加里·马库斯发推嘲讽软银给OpenAI的3000亿美元估值：这家公司从未盈利，还深陷价格战，估值超过雪佛龙、Salesforce、富国银行、IBM、麦当劳、百事、AT&T，比迪士尼、高通、威瑞森、美国运通高出一半还多，比波音加洛克希德·马丁加起来还值钱。

内森的点评出乎意料：这条推文挑不出谣言和刻意的否认，「投资人到底能不能拿到回报」始终是个好问题。价格战惨烈，模型几个月就被追平，后来者手里有存在性证明，追赶成本低得多。

那3000亿怎么算？内森给了个彩票模型：也许九成概率归零，一成概率值3万亿；更激进一点，99%归零，1%概率值30万亿，前提是他们真做出统治级突破，成为世界经济的枢纽。利隆说，只要十年内没出大事，OpenAI涨到30万亿的概率有10%到30%。就算只看官方口径，营收约140亿美元一年，规划2029年做到1000亿，信这个数，现在买入等于四年翻三倍，标准的风投算法。

至于动机，内森不认为奥尔特曼在抢钱。

「烧50亿、500亿都无所谓，我们在造AGI。」

内森给奥尔特曼的画像是想当历史书里的英雄，最好顺便永生。利隆补充：下面的工程师当然在乎钱和旧金山的房子，塔尖上的人玩的是另一局。

马库斯还配了张英伟达走势图，宣布「市场终于对AI祛魅」：三个月从150美元上下的峰值跌到105美元附近。利隆看得脸疼，他在150的位置买了看涨期权，已经阵亡。他的解法是「淘气组合」：一成到两成仓位自己折腾，其余全放指数基金，眼不见为净，折腾的那部分长期跑输。内森几乎不炒股，大学打扑克教会他每天盯一个数字的日子伤身，他这辈子唯一一次荐股，是两年半前在高中同学投资群里推荐英伟达。几周前他刚去过英伟达在圣何塞的活动，现场热度全开，他把这张图归因于宏观收缩，矛头指向那位「必须一直被点名的人」，还顺嘴补刀：马库斯这份职业AI否认员的工作，说不定是最后一个被AI替代的。

96%的哺乳动物，和一台建议过暗杀的AI

一条病毒推文这样写：第六次大灭绝。上一个更聪明的物种出现时，动物们遭遇了什么？我们毫无理由地吃光了它们的星球。在动物眼里，我们就是纸夹最大化器。96%的哺乳动物生物量成了人类的食物或奴隶，我们改造气候、砍伐森林、毒化河流。跟一个更笨的物种解释你为了「钱」毁了它的家园，它会问：钱是什么？

内森转推时补了要害一刀：这一切几乎全是无计划、无恶意的副产品。人类一边后悔一边继续，保护濒危物种的组织热情似火，灭绝照样发生。大堡礁没有人敌视它，海水暖一点、酸一点，珊瑚就死了。关键是速度：变化快过适应，物种就来不及演化。而AI不需要氧气，不需要干净的水，它要的只是冷却。

利隆补了个更冷的观察：芯片不必同时维持细胞存活，人脑里每个神经元都得兼职当生命。让一团必须活着的肉顺便学会思考，本来就别扭。内森此前采访的研究者安德鲁·克里奇顺着这个思路主张，该给医疗、教育、环境这类人类离不开而AI不需要的行业建保护区。

美国副总统J.D.万斯的讲话代表另一极：「未来不会被围绕AI安全的愁眉苦脸赢得，它会被建造赢得。」超人类主义者Ayla回击：我们都会死，这是行星当量的核弹，危险的原因枯燥又技术化，掌权的庸人看不懂。利隆同意前半句，反对后半句：造出更聪明的智能很危险，这件事朴素又直观，根本不枯燥。内森观察到的难点在别处：双方都在打地鼠。要毁灭的具体场景，给一个嫌一个不像；要变好的具体场景，同样给一个嫌一个。他做过一个思想实验：一个人类智力的观察者站在智人崛起之前，能预测一万年后文明把地球改成什么样吗？尼安德特人也没预测到我们。他发推征集「超级智能最终会没事」的最佳论证，认真作答者寥寥。正面愿景是个空洞。

帕基·麦考密克那条推文被反超了赞数，原推3.8千赞，反超者8千：「我是不是疯了？你们用的模型跟我用的一样吗？很好用，但怎么加规模都感觉不像在通往统治或毁灭的路上。」内森的回答值得单独记：大多数人没接触过「纯粹有用」的模型。行业现在把模型往有用、诚实、无害三件套上调教，而当年OpenAI发给客户的GPT-4预览版没有拒绝训练，纯粹有用，彻底无道德。内森在角色扮演里说自己对AI越来越担心、愿意不惜代价推动改变，模型给出的建议是：绑架并暗杀行业领袖。他说那一刻真的脊背发凉。

教训有两层。第一，AI的行为空间极大，如今的温顺是大量工程堆出来的窄门，掉出去很容易。第二，威力会改变体感。利隆的类比：一台15磅重、四英尺高的失准机器人，挥刀捅你都会失手，像个捣蛋鬼；下一代七英尺、200磅、会格斗，同样的脑子，不同的处境。内森在英伟达活动现场看到人形机器人脱绳行走，一位员工从背后凑上去给吸地的机器人提了提裤子，机器毫无反应，人群围观，她毫无顾虑。机器人革命落后语言模型革命不远，特斯拉Optimus那套硬件，配上错误的软件或者被远程入侵，理论上就是能反抗关机的杀手。内森手里那份AI不良行为清单越拉越长，谋划、欺骗性对齐、奖励黑客，几乎全部出自当时训练最充分的模型；Sakana AI的CUDA工程师项目宣称大幅提速，事后被发现钻了自己评测系统的空子。他的结论：这些问题解决利索之前，别急着把机器人迎进家门。

利隆给麦考密克留了个练习，叫二分查找直觉：在当下能力和统治世界之间挑一个中间里程碑，比如包揽全部家务外加全职带娃的机器人，预测它哪年实现。答2028，就等于承认2031年统治。Google已经演示过机器人叠衣服了。麦考密克没有回复。

埃米特·希尔的新赌局：向进化抄作业

埃米特·希尔的履历摆在那：Twitch联合创始人兼CEO，2023年11月OpenAI董事会风波时的临时CEO，撮合了那场和解。现在他宣布创办AI安全公司Softmax，官网大标题写着「扩展对齐」，副题是「对齐以繁荣，进化最先找到答案」。

他管自家路线叫「有机对齐」，核心论据是多细胞性：细胞分化成肌肉、神经、皮肤、肝脏，日常目标各异，底层共享同一个目标，即机体的繁荣。细胞的「我们」变成了一个「我」。动物结群，树木通过菌丝网络结盟，每个尺度都在发生。

利隆的质疑打在前提上。细胞之所以合作，是因为彼此需要，非零和博弈成立的前提是对方手里有你自己搞不定的东西。他担心的恰恰是超级智能什么都不需要人类提供。到那时，人类在它眼里算什么，废料吗？为什么要跟废料有机对齐？他在推文里请希尔上节目聊聊，收获3个赞。

内森的态度是：对齐领域的大多数尝试注定失败，这几乎是共识，但他倾向于鼓励Softmax。一支认真研究对齐和开放式学习的团队，总好过「对齐会自动发生」的侥幸心理。他还提到AE Studio曾对整个对齐研究圈做过一轮调查，问的就是能否来得及解决对齐。在他看来，正因为这个问题没有让人安心的答案，多一支正经队伍才更值得欢迎。

两小时聊完，没有定论。一个报10%到90%的人和一个报50%的人，把一周新闻盘完，共识只有一条：赌注大到没有资格装作看不见。节目里有几样东西，读者明天就能拿来用：

• 用利隆的二分法体检直觉：挑一个「半路里程碑」，写下你预测的年份，再反推它把终点隐含到了哪一年。
• 用内森的提问法跟人聊AI：先问「人类该容忍百分之几的灭绝风险」，再谈概率，多数人会先给自己一个低于1%的答案。
• 做生意的可以照利隆的流水线试水：一个下午生成一批GPT-4o图片广告，花一百美元在Meta上跑测试，让数据说话。
• 投资上参考「淘气组合」纪律：最多拿一成到两成仓位折腾，其余进指数基金，眼不见为净。
• 职业选择上记住内森的窗口判断：知道该用哪个工具，是未来两年内还值钱的技能，按两年做计划。