2700名顶尖AI研究者交卷：AI超越人类五成概率落在2047年，灭绝风险中位数5%

一年前，顶级AI研究者们给「AI全面超越人类」开出的五成概率时点还停在2060年。同一份问卷2023年再发一遍，这个数字跳到了2047年。13年的预期，12个月里蒸发掉了。

这是研究机构AI Impacts的Katja Grace主持的调查，她最近带着完整结果上了Nathan Labenz的播客Cognitive Revolution。调查覆盖2022年在六大顶级发表渠道上发过论文的约两万名研究者，回收2700多份答卷。Nathan的开场评价很高：这是有史以来对精英机器学习研究者预期最完整的一次测量。

先交代结论的形状：没有结论。整个领域对最关键的问题处于深度不确定之中，AI什么时候全面超过人类、会不会导致人类灭绝、长期来看是好是坏，每个选项都有大量研究者押注。真正接近共识的只有两条：灭绝风险不该被无视，安全投入应该比现在更多。

50美元礼品卡，换回2700份精英答卷

调查对象的圈定方式很硬：2022年在六大声誉最高的发表渠道（五个会议加一个期刊）上发表过论文的所有人。团队从论文里扒邮箱，再顺着作者的其他论文全网搜人，九成以上都找到了联系方式，总计约两万人。每人附一张50美元礼品卡，试点阶段对比过给钱和不给钱的两组，给钱的回收率明显更好，于是全量发放，最终回收2700多份，回收率约15%。这个系列此前跑过两轮，2016年规模很小，2022年那轮几百人，这一轮是它的好几倍。

Nathan问过有没有先例。Katja说参照物主要是AI领域自己的几轮旧调查，最早能追溯到上世纪70年代，但每轮对「人类水平AI」的定义都不一样，很难纵向比较。其他领域里大概只有气候科学做过类似的事。Nathan补了个典故：曼哈顿计划时期，洛斯阿拉莫斯的科学家们对第一次核试验的威力开过赌盘，可从没人对整个行业的预期做过这种规模的普查。

问卷15分钟，分支结构，每个人只走一条随机路径，没人答完全部问题。为了让「什么时候发生」可量化，团队设计了两种问法：给年份问概率，或者给概率问年份。2016年他们就发现这两种问法有系统性偏差：问「哪一年你愿意给90%的概率」会得到明显更早的日期。

Katja猜，对着年份打分时人们倾向于给低概率；被要求报出具体年份时，一旦承认这事会发生，就不太好往外推得太远。所以两种问法各问一半人，把每个人给出的三个「年份加概率」坐标点拟合成伽马分布，再平均成一条社区总曲线。

问卷里有两个平行的「强AI」定义。高级机器智能（HLMI）指无需人类辅助的机器，可以是机器组合，能以更低成本、更高质量完成所有任务；劳动全面自动化（FAOL）把单位从任务换成职业。按逻辑，所有任务都能自动化，职业作为任务的集合自然也能，可受访者给出的FAOL时间远晚于HLMI。

Katja给出两种猜测：一是人们容易把职业自动化理解成「实际被采用」，把HLMI理解成「技术上可行」；二是FAOL那组题会先带你逐个估计几个具体职业，一步步引导，答案就被推后了。没有人同时回答这两道题，所以没法当面质问任何一个人「你怎么自相矛盾」。

Katja对局限说得很直白：这些研究者并非预测专家，答题只花十几分钟，面对的却是「这项还没见过面的技术会给世界带来什么长期后果」这种量级的问题，答案谈不上准。但决策反正要做，能拿到的最好猜测就有价值；而且「很多专家认真给某件事押了概率」本身就是信息，它意味着这件事没有被排除。

问卷还有个容易踩的坑。39项具体任务从2016年沿用至今，没有「已经实现」这个选项。最简单的一项是用Python写快速排序，ChatGPT今天几秒钟就能完成，可汇总曲线仍有不小概率落在2029年之后。Nathan以为是四分之一的人不知道ChatGPT，Katja纠正说那是所有人分布平均后的形状，读不出「25%的人怎么想」。她给两种解释：受访者可能把「出现在问卷里」默认成「还没实现」；也可能有人持哲学立场，认为模型只是在对快速排序做随机模仿，算不上真的会。她同时提醒，验证某个任务真的被完成，比想象中难得多，ChatGPT时好时坏，数数就一直不行。

原始数据全部公开，Katja欢迎任何人拿去自己分析。Nathan问能不能把那些「认为快速排序15年内做不出来」的人筛掉重跑，Katja不反对，但提醒筛掉的会是个混合体：误解题目的、手滑填错的，以及对「什么才算真的会快速排序」有复杂哲学立场的人。她还提到问卷让每个人自评了对各问题的思考程度，想得更多的人确实更担忧，不过这里同样有选择效应，担忧的人自然想得多。

多问法还有个副作用：选择性报道太容易了。Katja说自己一直在打持久战，确保HLMI和FAOL两组答案被同时呈现，因为只挑HLMI能讲出「时间表暴跌、一切加速」的好故事，把所有答案放在一起看，信号要保守得多。她的对策是把全部数据和图表公开，谁都可以来核查。

时间表集体前移，但比实验室掌门人保守

39项任务里，35项的五成概率时点落在10年以内。最难的几项是：复现一篇顶会机器学习论文，12年；给新房布设电线，17年；独立完成一项机器学习研究并写成论文，19年；证明能发表在顶级数学期刊的定理，22年；解决千禧年大奖难题，27年。每道题的设定都一样：给AI一句话任务描述和人类会拿到的同样信息，之后不再需要人类输入。想直观感受这些曲线的形状，可以去预测平台Metaculus翻翻AI相关问题，大都是短中期鼓一个包，然后拖着长长的尾巴伸向远方。

Nathan指出这个设定跟今天的实际用法差得很远。他把AI使用分成两类：一类是即时的副驾驶式协作，写一段改一句，不追求规模；另一类是规模化任务，比如给十万封邮件做个性化，今天得先花大力气搭系统、攒上下文、做校验，把一成力气花在前面。问卷设定更接近高配版：AI自己负责拆解任务，人只管像对同事那样交代一句。

Katja的回应是自主性像分形，一级一级长出来：先能独立干一秒钟的活，再能自己拼起几个步骤，最后才谈得上自己定方向。她拿写东西举例，ChatGPT已经能同时顾及用词、语气和该列哪些事项，可质量检查该谁做、信发给谁，仍然得人来安排。

两个大问题的时间表变化更猛。HLMI的五成概率时点从2060年提前到2047年，一成概率时点是2027年；FAOL更是直接缩水了四五十年。39项窄任务的平均预期也普遍提前了一年。对比一下，2016到2022这六年间，HLMI的中位预期总共只挪动了一年左右，所以这一年的跳变幅度，显然超出正常波动。

这套时间表跟实验室掌门人的公开表态放在一起，明显偏保守。Sam Altman劝创业者按AGI已经到来做准备；Anthropic一份被媒体证实的融资材料里写，2025到2026年领先者可能靠「用当前模型训练下一代模型」的反馈循环甩开所有对手；DeepMind联合创始人Shane Legg十几年前就给出「2028年前后五成概率」的判断，至今没改。

Katja的解读是选择效应：觉得AGI很近的人才会投身AGI，你听到的掌门人时间表，天然是被筛选过的样本。Legg的判断十几年前就定了，说明他的乐观来自长期立场，跟最近看到了什么关系不大。

灭绝风险：头条数字5%，背后藏着三个问题

媒体最爱的数字是「51%的受访者认为AI至少有10%的概率导致人类灭绝或同等严重的失权」。Katja在节目里当场纠偏。问卷其实问了三个相似的问题：AI进步导致人类灭绝或同等永久严重的失权，中位数5%；加上「因人类无法控制未来先进AI系统」的限定，中位数10%；限定在百年内发生，中位数5%。头条挑的是三个里最高的那个。

为什么中位数会在5%和10%之间跳？因为受访者几乎不填中间值，填5%和填10%的人各有一大堆，中间那个人落在哪边，中位数就跟着变。上一轮调查48%的人填了10%，差两个百分点过半，中位数就从10%跌回5%。另外均值明显高于中位数，少数人给出了很高的概率，把平均值拉了上去。

Nathan提到DeepMind CEO Demis Hassabis最近在纽约时报Hard Fork播客上被问灭绝概率，他的回答是大家总想把问题简化，可我们连正在经历的这个过程是什么都没搞清楚，给具体数字没有意义。Katja不同意这种回避。概率的价值在于让你跨时间保持决策一致，能跟自己其他的猜测互相比较，准不准反倒其次。她的建议是哪怕瞎猜也标个数字，然后回头校验自己的准头，她对各种事都这么练。

Nathan补了一个提醒：p(doom)（灭绝概率）这个框架容易让人以为在等一次轮盘开奖，实际的情况是轮盘还没造出来，我们连它长什么样都不知道。Katja的回应是，更合理的用法是条件概率：如果人类沿着某条路径造某个东西，我认为结局会很糟，那我们就换一条路径造别的。这样数字就从宿命变成了决策输入。Nathan在开场还说过一句：末日派和e/acc（有效加速派）都该把自己的估计往这份社区中位数上校一校，5%到10%的灭绝概率显然需要严肃对待，剩下九成结局的形状同样值得操心。

全场最大的共识：不确定，以及安全该加码

长期好坏那道题要求每个人把100%分给五个桶：极好、好、中性、坏、极坏。论文里的图10把每个人画成一列像素，按乐观程度排序。中间大约三分之二的人，五个桶都放了不小的权重；两端的坚定派各占六分之一左右，而且即便是押注「极坏」的那群人，大部分权重也没押在「极坏」上。Katja说她很喜欢这张图，因为它展示了这件事有多不两极化。

Nathan说这接近全场唯一的共识：彻底的不确定。Katja往前推了一步：不确定本身指向行动，既然没人能排除极坏结局，「值得认真对待」就成了多数派立场，你需要非常自信才有资格说「这事不用管」。

几组关于未来AI性状的数字：80%以上的人认为20年内的最先进AI会以意想不到的方式达成目标，能像人类专家一样谈论大多数话题；近70%认为它会频繁做出让人类惊讶的行为。Katja说这些表述可轻可重，轻则像「委托别人办事本来就会有意外」，重则像「越权违规，早该设防」，她后悔当初没把问题设计得更清楚。

可解释性那道题更冷：80%的受访者认为到2028年，用户依然无法理解AI决策背后的真实原因。与此同时，AI安全应该比现在更受重视，这是全场分歧最小的问题之一。

该快该慢则吵成一团：仅5%认为应该大幅放慢，30%选适度放慢，27%支持维持现状，23%选适度加快，15.6%主张大幅加快。Katja提醒，选项锚定的是当前速度，而当前速度本身在加速，很多人心里的真实意思大概是「当前这条轨迹还行」。

具体场景的担忧度里，唯一接近共识的是「AI让虚假信息传播变容易，比如深度伪造」，80%以上认为值得实质性或极度担忧。操纵大规模舆论、威权者用AI控制民众、加剧经济不平等、危险团体获得强大工具（比如工程病毒）、算法歧视，这几项都有超过60%的人投了实质性以上担忧，完全无视者不到10%。Katja点了一句：这些场景问的是「可能发生什么值得担忧」，「会发生什么」反而没人打包票。全场唯一清晰的共识落在担忧上，恰好印证了没人知道会发生什么。

脚手架已经搭好，就等引擎升级

节目后半段，Nathan抛出了他反复被人问、自己也没答案的问题。过去一年，大量资金涌进AI应用层：接数据库、接API、做记忆、做任务规划，全是在围绕当前模型的弱点打补丁。等下一次核心模型升级，等于把强得多的引擎塞进已经造好的底盘。

他的判断是，AI跟几乎所有以往技术不同：分发渠道早已就位，互补品正在被提前疯狂预建，创业者们容忍现在不好用，赌的是升级一到全部点亮。一旦模型从「勉强能用」跳到「真好用」，所有系统同时被放开，大量半自主系统会在同一时刻涌进真实世界，彼此遭遇，而没有人准备过那个场面。当下每个人的默认世界观是「我在用AI，世界其他部分不变」，这个假设可能在某次升级时集体失效。

Katja接得很顺：一般技术升级后扩散慢，是因为要用它还得现造东西。这次大家提前把东西造好了，跳跃可能比以往任何技术都大。她也反问：GPT-3到GPT-4之间为什么没发生这种事？Nathan答，那会儿没什么可围绕建设的，ChatGPT发布到GPT-4只隔三个半月，应用层的淘金热是最近12到14个月的事。他正式请求把「脚手架的规模定律」写进下一轮问卷，Katja收下了这个提议。她自己倾向于下一轮原样重跑，方便纵向对比，政策类的新题可以另开一份问卷。

节目里还有一段关于芯片禁运的讨论。Nathan问要不要调查美国对华芯片限制会不会真的拖慢中国进度，他提到自己试过百度的文心一言4.0，跟GPT-4对比几个问题难分高下。Katja犹豫了：AI Impacts做的事大多建立在「更多人了解真相会让世界更好」的假设上，可一旦靠近对抗性话题，调查结果很可能在给某一方递刀，她不想助长军备竞赛。

明天就能用上的四件事

节目结尾，Katja留了一段话：

「在如此多的不确定之中，事情保持原样、AI最终没给人们的生活带来什么剧烈改变的概率，看起来相当低。」

她的逻辑是，哪怕不直接从事AI，也值得对它形成尽量准确的看法，因为公众的想法会影响政策，而政策可能永远地改变未来。落到行动上，有四件事明天就能做。

• 给自己的判断标数字。学Katja的做法，写下「我认为某件事有百分之多少的概率在某个年份前发生」，一年后回来对账。这是对抗站队思维最便宜的工具，比「我觉得会」「我觉得不会」有用得多。
• 给两边的声音都打折扣。听到「AGI明年就来」，记得掌门人的时间表带着选择效应；听到「AI全是泡沫」，记得2700名研究者的汇总判断是39项能力里有35项，五成概率在十年内实现。把两个极端都往中位数拉一拉，再做决策。
• 做AI应用的开发者，按「下一次模型升级会让现有脚手架突然变强」来规划。想想你的系统在那种情况下会释放什么，会不会有别的系统跟你的同时被放开。
• 留意身边人对AI的真实态度。Nathan认识一辈子的一位长辈的原话是「这东西瘆得慌，我碰都不想碰」，不好奇，不想试，没有商量余地。硅谷严重低估了这种情绪的普遍程度，而公众态度会变成政策。

这份调查的全部数据、图表和原始答卷都公开在网上。想校准自己对AI的判断，与其刷观点，不如去翻那2700多条原始回答，看看两万个最懂这门技术的人，是怎么跟不确定共处的。