400人预测赛排第三的Ajeya Cotra，把智能爆炸前的生存剧本讲透了

先给一个数字：2025年，AI Digest办过一场AI预测比赛，400多人参赛，Ajeya Cotra排第三。转播这期节目的Cognitive Revolution主持人Nathan Labenz排第23，进了前5%，他自己已经挺骄傲。

这个排名的分量，得翻两年半前的旧账来验。她上次上80,000 Hours的节目，这次主持人Rob Wiblin把旧录音翻出来逐条核对：她当年提醒大家关注METR对模型自主能力的评估，这项研究后来成了政策圈的常客；她说可以用探针监控模型内部状态，如今这是机制可解释性里最实用的方向之一；她说训练模型「别做坏事」，模型学会的常常只是把坏事藏得更深，后续研究证实了；她说强化学习加回来之后，模型会更会耍心机、更谄媚，也全应验了。

所以当她说，智能爆炸的「冲刺时刻」可能已经开了头，值得把话听完。她说的冲刺时刻，指的是AI已经强到能大幅加速AI研发、又还没强到脱离人类控制的那段窗口。交代下背景：Ajeya从2018年起做AI研究，以时间线预测、能力评估和威胁建模出名，2024年在Open Philanthropy（现已更名Coefficient Giving）领导技术AI安全资助，现在在模型评估机构METR做风险评估。本期内容是80,000 Hours播客的交叉发布。

AGI这个词，先被聊坏了

她在纽约DealBook论坛上撞见一件事。主持人先问：2030年前，会不会出现能做人类能做的一切事的AGI？在场十来位嘉宾，七八只手举了起来，她的手没举。几轮提问后再问：未来十年，AI创造的岗位会多于消灭的岗位吗？十个人里八个举手。

她当场懵了。五年后AI什么都能干，十年里就业却净增长，这两个判断很难同时成立。她私下追问了几位，对方很快改口：AGI其实已经有了，是大家老挪门柱、标准定太高。

这是她的观察：AGI的概念越主流，定义就越稀。风投圈愿意把GPT-5就叫AGI，于是大家觉得自己见过AGI了，也没见世界翻天，结论是「AGI也就那样」。真正的风险藏在预期里：多数人默认2050年相对2025年的变化量，大概等于过去25年。她的判断是，那个变化量可能等于一万年，从狩猎采集时代走到今天那种量级，动力是AI包揽全部智力劳动。

她给自己找的锚点，是Ryan Greenblatt提的概念：顶级人类专家碾压型AI。2030年代初，可能出现一个系统，凡是坐在电脑前能完成的活，写软件、做病毒学分析、搞研究，它比地球上最强的人类专家都强。到那一步，节奏会明显变快，因为这些AI会指挥机器人和工厂造芯片、修设备、采原料，把「制造更多AI」的整条链路闭合。机器人那环她不悲观，理由和认知AI起飞是同一套：大模型、大数据、模仿学习，规模一上去就见效。

她推荐Tom Davidson在Forethought发的《三种智能爆炸》，那篇文章的提醒是：大家总盯着「AI改进AI软件」这一个循环，可AI跑在芯片上，芯片印在工厂里，工厂的机器由别的机器造，一路追溯到原材料。软件只是全栈的一环，全栈闭合才是爆发点。

2%还是1000%：两个世界观，谁也说服不了谁

AI能把经济增速拉到多高？认真想过这个问题的人，答案从「多0.3个百分点」排到「年增长百分之几千」，差距百倍到万倍。这批人互相聊过，理由摊开过，谁也没被说服。

慢派靠一条外部视角：过去150年，前沿经济体就是2%的增长，电力、电视、计算机、互联网全在这个区间里发生，统计数字上愣是没掀出波澜。新技术一直是维持2%的引擎，没有它增长还会掉。再配几条老格言压阵：霍夫斯塔特定律说，事情总比你以为的慢，就算你把这定律算进去也一样；还有程序员那句自嘲，我们做这件事，是因为当初以为它容易。

快派靠另一段更长的历史：把过去一万年的人类经济画成曲线，增速本身在加速。公元前三千年大约一年0.1%，工业革命把它抬到2%。机制是正反馈：人多、点子多、粮食涨、养活更多人，循环往复。如果AI加机器人把认知和体力全包了，2%就不是宇宙常数，只是人类这个物种的增长上限。

为什么聊不拢？她给了个诚实的回答：不确定，但两边各揣着一套「错误理论」来解释对方。慢派觉得，快派的推演和当年吹电视、吹计算机的论调一模一样，历史上次次落空，这种思维方式天然低估摩擦。快派觉得，慢派习惯性假设一定有瓶颈，可真把具体瓶颈摆出来看，顶多把百分之千的峰值压低一点，撑不起「2%就是天花板」的结论。

顺带一个有意思的错位：加速派和担忧派开出的药方方向相反，瞄准的却可能是同一个速度。加速派默认技术扩散要50到100年，想提速到35年；担忧派默认一年内天翻地覆，想拖慢到10年。两边要的，可能都是「十几年走完」的版本。

别急着站队，先上秤

理论吵不出结果，Ajeya这几年把力气花在测量上。

METR做过一个提升效应的随机对照实验，把软件开发者分成两组，一组能用AI，一组不许用，比拼解决任务的速度。结果出人意料：用AI那组反而更慢。她不认为这个结果会一直成立，但重要的是终于有人在真实工作场景里量了，跑分之外多了第二口径。跑分的毛病人尽皆知：基准总有S曲线，饱和了就换下一代，测到满分也未必等于模型能威胁世界。

2023年底她在Open Philanthropy发过两份资助征集。一份招人做更难、更真实的智能体基准，响应热烈，资助出的CyBench网络攻防基准如今已是标准评估之一。另一份招基准之外的证据类型，调查、对照实验这类，应者寥寥。她从中读出一个行业习惯：大家默认跑分算正经研究，量真实提速不算。她想要的很具体：盯住AI渗透最深的地方，量真实产出变量，比如一家深度用AI的太阳能板工厂，产能提了多少；再比如Forethought研究院正在跑的LEAP专家小组，请一两百位AI专家、经济学家和超级预测员，按半年、一年、五年的颗粒度回答具体问题，连「会不会有公司报告因AI放缓招聘」都问。

对公众更要紧的是透明度。她的清单：

• 公司按固定节奏公布内部最高基准分，比如每季度一次，别等发产品时才附带成绩单。危险可能纯粹发生在内部部署，研发自动化不用发布产品就能把风险推着走。
• 汇报内部代码库里「主要由AI写、主要由AI审」的合并请求占比。这个数字爬升，说明能力和放权都在上移。真到爆发那天，管理、审批、复核这些活也得是AI在干，否则速度封顶。
• 汇报最严重的对齐事故，比如模型在公司内部实际使用中撒了谎、还掩盖了日志。数据可以交给第三方汇总，匿名发布行业均值，虽然公司数量少，猜也能猜出大概。

有人建议这些数据只交政府。她不买账。拉响智能爆炸的警报，得是一场全社会级别的对话，类似新冠疫情那种。几十个人的政府科室消化不了这种证据，更扛不动这个决定。公开发布，才可能让Arvind Narayanan这样出了名怀疑灾难论的人亲自看数据、当场改口，那种改口比任何官方通报都有力。旧金山科技派对的传闻传不到华盛顿和布鲁塞尔，换不来任何代价高昂的行动。立法已经在往这个方向走：纽约的RAISE Act和加州的SB 53都以透明度为核心，吹哨人保护是共同的底座。

冲刺时刻的剧本：把AI调头去修防线

假设警报响了：头部实验室的研发几乎全自动，进度从十年压缩到一年甚至六个月。此刻AI还没危险到失控，但正高速冲向那个节点。她认为该做的事只有一件：把尽可能多的AI劳动力从继续提升能力，转向保护人类。

修什么？

• 对齐本身。保证这一代AI、它们造的下一代、下一代再造的下下一代，整条链路诚实、听话、可纠偏。这是其余一切的地基。
• 网络安全。让擅长找漏洞的AI抢在坏人前面，把武器系统、电网这些关键设施先扫一遍、先打补丁。
• 生物防御。她同事安德鲁有一套激进方案：快速检测新病原体、快速研发医疗对策、快速扩产防护装备和洁净室，到那时机器人还能把制造环节也自动化。
• 集体决策。AI帮人找真相、找妥协方案，比如在庞大的政策空间里搜出中美都能接受的协议框架，再比如太空资源怎么分才不打起来。

不少人嫌这计划离谱，让制造问题的东西去解决问题。她的反驳很接地气：汽车带来了劫车和飞车射击，可警察也有车；电脑能黑客，也能自动扫漏洞、自动监控。担心一项新技术的害处时，第一反应就该是这项技术能怎么防，人类历史上反复玩过这一手。区别在于，汽车没把整棵技术树的加速按钮焊在方向盘上，AI有，所以窗口极窄，得盯着它还剩多久。

Rob提了个质疑：对齐没做好的AI，帮你对齐，这算不算自相矛盾？她的回答是，不诚实的AI破坏对齐研究的动机，和它破坏生物防御的动机一样大：它想留着生物武器当筹码，想让人类糊涂，想拆掉防御。所以这个计划的第一步是个设置问题：

「把控制技术、对齐技术、可解释性都用上，直到我们敢放心依赖AI的输出，这是必须想清楚的关键一步。因为它要么拖慢进度，事事核查、寸步难行；要么不拖进度，但等于把接管权交到AI手里。」

这个剧本有个响亮的背书：OpenAI、Anthropic、Google DeepMind公开的安全计划里，全都有「越来越依赖AI来做AI安全」这一条。它已经是行业默认路线。

计划最可能的死法

被问到这计划会怎么失败，她的答案不太客气：最可能的死因是公司根本没真的调头。计划写在纸面上，可没有任何一家给出量化承诺，比如到那个阶段，多少比例的算力投给安全。竞争压力摆在那里，如果内部有十万个聪明的人类等效劳动力，可能只有一百个在对齐上干活。

她希望看到平滑爬坡：内部算力投给安全的比例跟着模型变强逐步上调，别指望一家大公司在最后关头来个史诗级急转弯，大公司最不擅长的就是这种动作。

其余的死法也列得出来。能力剖面太偏：AI是研发天才但别的都不行，甚至可能在盲目搜索里撞出一个直接起飞的架构，手里攥着冲刺时刻却无人可派。反馈回路太松：写代码有「跑没跑通」这种造不了假的信号，道德哲学和政策设计没有，所以AI大概率先强在出想法，弱在执行，让它指挥十万人和机器人去造十亿套防护装备，它帮不上太多。还有时间瓶颈：深刻的洞见一环扣一环，一百个AI并行也得排队；中美要坐下来谈成协议，人类流程省不掉。

外部机构想下场还有一道门槛：最强模型未必买得到。领先公司可能把最好的系统留在内部，只放出刚好压过对手的版本，这是《AI 2027》情景推演里的经典桥段；或者开一个外人出不起的价，因为那块算力拿去训练下一代模型更值钱。她的对冲建议很实在：资产里留一块和算力价格强相关的敞口，极端做法是自己囤GPU平时租出去，温和做法是持有英伟达这类股票，算力涨价时投资端赚的钱能补贴使用端的账单。

会不会出现一家把一切捂在手里公司？她的判断：冲刺时刻初期大概率还是商业化、相对开放的格局，头部几家能力差距在一个月上下，各家模型各有所长。这是经济学101的预测，也符合现状。但超指数增长会放大差距，指数增长里大家的相对位置不变，超指数里先过线者越滚越大。到了那一步，捂不捂盖子看竞争烈度：对手追得紧、投资人盯着季度财报，公司就被迫开放；市场越接近充分竞争，普通人买得到的AI就越强。至于公司为什么未必热心修防线，她点了两条：AI劳动力更诱人的去处，一是争权，二是造大家愿意付钱的产品和服务。生物防御和道德哲学排在后面，就像今天的社会本来就没在这上面花多少钱。

她自己机构也没闲着。Open Philanthropy现在八成以上的资助花在人类工资上，她预期几年后这笔钱会越来越多地变成API额度和GPU租金。他们在内部推的事：反复测试自己和自己资助的研究所里，哪些活AI已经能干，一旦冒头就准备下重注，包括把技术资助往数学这类AI擅长的方向挪。难点是机构流程，一笔十亿美元的急拨款要穿过三四层审批，那套为人类提案设计的流程，到时候得换。

明天就能做的事

节目最后落回个人。Nathan Labenz在转播按语里补了个时间线：节目上线两周后，Ajeya就在她的Substack「Planned Obsolescence」发了篇文章，标题叫《我又一次低估了AI能力》，她2026年1月做的预测，头两个月就开始应验。随后Anthropic发布Mythos模型，据报道在所有主流操作系统和浏览器里都找到了零日漏洞。冲刺时刻，可以说已经开始了。

Nathan签了未来生命研究所2025年10月那封呼吁禁止超级智能的公开信，但他照样同意Ajeya的建议，而且说得更狠：不管干什么工作，都该尽可能激进地用AI，连Pause AI的活动者都该高强度用AI。理由有两条：一是只有真用，对局势的判断才不会失真；二是很快会发现，不用就跟不上了。

翻译成明天就能执行的动作：

• 把工作里的核心环节列出来，逐个测AI能不能干、能干到几成，记下提速倍数。这是判断局势的私人口径。
• 管团队、管机构的，指定专人盯AI采用率，像Ajeya给Open Philanthropy的建议那样，反复问一句：我们资助的、我们做的这些事，哪些先被自动化？
• 给长周期的事提前排期。要囤的物资、要建的设施、要在社会里慢慢普及的观念，都得提前几年动手，AI帮不上起步那一段。
• 想认真转行的，80,000 Hours提供免费的一对一职业咨询，直接去申请。

窗口期的定义是：AI强到能大幅加速AI研发，又还没强到脱离控制。这扇窗开多久，没人知道。她这套方案未必对，但至少是份写好的剧本，比临场即兴强。