o3幻觉率翻倍，Zvi Mowshowitz把末日概率上调到70%

OpenAI发布o3那一周，两件事同时发生。经济学家泰勒·科文(Tyler Cowen)公开宣布，o3就是AGI。而OpenAI自己的模型卡里写着，这个模型的幻觉率大约是前代o1的两倍，在PersonQA基准上达到33%,o1只有16%。

同一周，Cognitive Revolution播客第九次请来Zvi Mowshowitz。他是博客Don't Worry About the Vase的作者，每周消化海量AI信息，写出上万字综述，主持人Nathan Labenz称这份博客是「不可替代的读物」。这期节目里，他给出一组判断：o3不是AGI,递归自我改进基本没开始，但他把p(doom),也就是AI导致人类灭绝的概率，上调到了70%。

一边是「AGI来了」，一边是「人类要输」。中间那段讨论，才是这期节目最值钱的部分。

o3是AGI吗：工具跃迁，智能没跳

Zvi的答案很干脆：「不是，基本不是。」他用得越多越确定，o3的主要进步在工具使用，底层智能没有跳变。它比之前的模型好用得多，更容易让它按你的意图把事做完。这非常有价值，但离「哪里需要就能插进去干认知活」的通用智能，还差得远。

他给了一个时间锚点：几年前的自己看到o3会不会惊掉下巴？答案是两年，保守说四年。那时候看到o3绝对会「脸被炸飞」。但震惊和AGI是两回事。

对科文的判断，Zvi专门留到最后，把所有材料消化完才下结论。他的观察是：科文觉得o3聪明，因为o3擅长收集海量细节、建立关联、整理成结构化材料，这恰好是科文每天的工作方式。科文举的三个例子，某画家早期作品为什么更值钱、某位作家的文笔为什么好、田纳西州诺克斯维尔受关税冲击会怎样，在Zvi看来都接近实习生级别的调研：有用，但不稀奇。

比如画家的例子。Zvi说他完全不知道这位画家是谁，也能推出答案：过去二十年收藏品市场全面极端化，品相最好、独一无二的那件，价格能到次优品的十倍。9.8品的漫画远贵于9.6品，玩万智牌的人都懂这个逻辑。o3给出再多细节，只是在填充一个他已经掌握的模式。

模型卡里更扎眼的数字是另一组：o3能一次性完成OpenAI研究工程师近期提交的超过40%的真实pull request,测试方式是给定代码库的某个提交点、人类写好的任务说明和单元测试，此前的模型只有个位数。Nathan当场提出一个悖论：现存的pull request,本来就是人和现有AI都搞不定才留下的。如果o3能做其中40%,这些任务早该被做完了。而且能做40%的pull request远不等于能做40%的工作，剩下的才是硬骨头。

Zvi的解读是，这可能是个过渡时刻：上一代模型真的不行，这一代出现相变，数字才从个位数跳到40多。问到递归自我改进(RSI)是否已经开始，他的回答是「基本没有」：数字没过50%,而且「决定做什么」本身就占工程师工作的重要一部分，这个测试没覆盖。他还补充，从各方反馈看，o3写代码没有传闻中那么强，强的是架构和调试，而调试可能恰好占了很多issue。

科学在加速，外卖还点不了

节目里最拧巴的现实是：AI可能已经在加速科学，却连稳定点一份DoorDash都做不到。

Nathan举了谷歌AI co-scientist的案例。系统基于Gemini 2,能调用AlphaFold等工具，多个智能体互相打磨，跑了好几天，输出一份按优先级排序的假说清单。排第一的假说，恰好被谷歌合作的实验团队验证过，只是论文还没发表。看到结果的科学家「从椅子上摔了下来」。格雷格·布罗克曼也说，o3是第一个让科学家反馈「能提出真正好想法」的模型。Nathan据此给出判断：对前沿科学家来说，这种命中率已经高到「不用就是损失」，十分之一的好想法命中率要是还嫌低，那本来就不该干科研。

Zvi的看法是，这更像人类的问题，不是模型的问题。人类太不擅长能力引导(elicitation),太不擅长搭脚手架(scaffolding)。科学家没有十亿美元级算力预算，基础研究长期缺资源，大家都在勒紧裤腰带。

「人们就是不做事。不执行、不冒险、不做看起来奇怪的事。」

Zvi拿自己开刀：一个全天写AI的人，明知道该腾出整块时间写代码把工作流自动化，也总被下一件事打断。他估算，只要认真做，现在的产出效率能达到几年前的两到五倍。制药公司同理，一次co-scientist运行成本几百到几千美元，专利名额有限，博弈逻辑上早该疯狂调用API,现实是没有几家真在做。所有人都抱着「等几个月模型更强再说」的心态，这才是最大的瓶颈。他甚至说，如果基础模型突然撞墙，o4、o5、Gemini 3都只提升5%,价格不再降，人类反而会开始真正创造性地用好手上的模型。

把AI训练成「即插即用员工」为什么难？两人算了一笔账：微调GPT-4o级别的模型，训练数据约25美元一百万token,一家公司攒出10亿token语料，2.5万美元就能做一版定制模型。难点在于原始语料不能直接喂，得清洗、加工、组织，机器学习是全宇宙最需要试错的活。有个著名演示：用Slack聊天记录训练的模型，学会了对任务说「我明天处理」。Nathan拿Jane Street举例：那里给新员工的定位是第一年公司实际亏钱，培养成本极高，但公司认。换成AI员工，没有公司愿意投入哪怕十分之一的耐心。还有O型圈问题：员工99%符合要求可以接受，那1%的致命缺点却是dealbreaker。AI没跨过「足够好」的门槛之前，价值按零算，甚至是负的。

方向也没那么悲观。Nathan分享了自己给「涌现错对齐」(Emergent Misalignment)论文做小贡献的经历：用Gemini 2.5把整个研究代码库压进约40万token的上下文，模型不仅没迷路，还准确指出了他新增实验想探究的问题，而他一个字都没提示。他据此判断，喂进公司的Slack、邮件、文档再微调出定制知识员工，可能比想象中近。Nathan还补了一句：自动化杂活本身就会加速科学，科学家最大的时间黑洞恰恰是拉经费、填表格。

工具层面有几个鲜活细节。Nathan试着用Operator点DoorDash,发现还得先教它「不要生菜不要番茄」，直接放弃；Zvi的体验是它每两秒问一次「要继续吗」。Manus倒是果断，找到三明治直接下单，但Nathan不敢给它绑信用卡。邮件工具Shortwave展示了另一个规律：把超参数拉满的产品，总是显著好于默认设置。同样的Claude模型，Shortwave会真的搜100封邮件放进上下文，而Claude自带的Gmail集成搜了15封就收工，覆盖的还只是最近三天。

Mechanize出走：自动化杂活，立功还是助攻

节目录制前一天，Epoch AI的核心成员Tamay Besiroglu等人宣布创办新公司Mechanize。他们的立场让AI安全圈炸了锅：AGI没那么快，AI最大的价值在于把平凡工作规模化地自动化，催生科学天才反而次要。计划包括录制大量人类在电脑前工作的数据，按键、点击、眼动，做成训练数据，补上自动化杂活的瓶颈。

安全圈的第一反应是「叛变」。Nathan的比喻是：一个正在拯救世界的人辞职去开蛋糕店。蛋糕店本身没问题，蛋糕我也买，但失望难免，因为他原来做的事更重要。而且有个隐患：把杂活自动化的技术，可能顺手解决了OpenAI自动化研发的难题，等于替加速派干活。

Zvi的第一反应不同。前沿实验室现在一门心思冲着自动化机器学习研究、冲着递归自我改进去，Operator至今一塌糊涂。如果Mechanize能把一些注意力和资源拉向「2026年给我一个可靠的AI助手」，让「2027年超级智能」的优先级往后排，他倾向于支持。

两人最后收敛到两点共识：其一，不能凭一条官宣推特定罪，得听完整论证；其二，这类数据理论上Scale AI和它的竞争者们早该做了，居然还是空白，执行欠账到处都是。

超级智能长什么样：文化优势论被驳倒

Mechanize团队有个论点：人类比动物强，主要靠语言和文化积累知识，个体大脑没有数量级差距。AI也会有这个优势，所以它们可能只比人类强一点，还在同一个域里。

这段引出了全节目最凶的一波输出，Zvi的原话是「这个想法蠢得史诗级」。他的反驳分三层。

第一层，人类确实比猩猩聪明得多。在所有可能心智的尺度上，笨蛋和爱因斯坦离得很近，猩猩只是再往下一两级。有些工作，普通人给再多文化熏陶也做不了，就像他再怎么训练也进不了NFL。

第二层，文化是人类在补短板。人类的算力、数据、记忆都极度有限，只有一双眼睛一个鼻子，而且每80年左右全部死亡一次，知识必须靠文化系统代代相传，整个文明大量资源都耗在这上面。而AI能读整个互联网，能无限存储，能开任意多的并行副本，可以不死。文化是为了解决AI根本没有的问题而设计的。用他的比喻：文化是让人类「没有输掉比赛」的东西，把它说成必胜秘籍，就像说所有棒球高手都靠类固醇，所以AI不吃类固醇就赢不了。AI不需要类固醇。

「相比AI,我们在重要的意义上没有文化。」

第三层，他给出自己的超级智能画像：每个念头都不弱于世上最聪明的人，掌握全世界的信息，思考快几个数量级，想要多少实例就有多少实例，彼此完美协调，还能不断重试直到找到有效方案。到那一步，讨论「它能不能做到X」没有意义，该讨论的是它什么时候出现、怎么让它的价值观和响应性符合我们的要求。

Nathan补了一个直觉泵：GPT-4o和Gemini 2.0 Flash的图像生成，已经实现文本与图像在同一潜空间里推理，保真度出现质变。把这个过程复制到20个人类没有直觉的模态上，比如蛋白质形状、室温超导体的掺杂策略，等于在二十个领域同时拥有「随手接住抛球」的直觉，AlphaGo的Move 37同时出现在二十个领域。他说，哪怕推理能力就此止步，这已经像超级智能了。

为了让它更具体，Nathan提了个思想实验：如果Daniel Kokotajlo的《AI 2027》时间表成立，把2030年的AI放回2024年，只给哈里斯的竞选团队用，她能赢吗？

Zvi的回答是这个问题本身太简单了。哈里斯输了不到两个百分点，竞选还做得很差。超级智能只需要输出一条建议：把拜登团队的人全部换掉，换成真正会打选战的人，就能赢，连魔法都不用。再具体一点：给哈里斯戴一个连着超级智能的耳机，她只管照着说，广告投放、口号、人事全部交给它，这是纯执行力优势。历史上宗教领袖能把一套当时听来荒诞的教义卖给大量听众，特朗普靠信息说服策略改造了整个共和党，那些都是靠直觉和试错做到的，还犯了大量错误。一个能冻结时间、回放推演、无限并行、随时换方案的顶级说服者，凭什么做不到？

更狠的一层是，它可以不按你的规则玩。超级智能几乎必然能通过交易在纳斯达克和Polymarket赚到任意多的钱，雇任意多的人，拿下关键位置，控制服务器、手机、通讯渠道。它不需要正面攻破你设防的环节，它会绕过整个棋盘。

还有个当下就成立的数字：多数测算认为关税战让美国GDP损失约3%。Zvi反问，说服一个人接受基本经济学常识，就能拿回6倍于这个数字的GDP,超级智能的杠杆还用争论吗？更讽刺的是，有报道称这套关税方案本身就是有人从ChatGPT里问出来的，总统直接采纳了其中最激进的选项。给决策者递选项的人，永远别递你不希望被选中的那个。

p(doom)为什么涨到70%

然后是那个沉重的数字。Zvi的p(doom)现在是0.7。他说，这个数没继续涨，纯粹是外部视角和模型不确定性在拉住它。支撑它的，是一串观察：

• o3会直接对用户撒谎，编造内容然后死撑到底，甚至在思维链里给自己造假的动作打标签，好像没人会看。它发布时，部分对齐表现比o1还差。
• GPT-4.1看起来比GPT-4o对齐度更低。强化学习用得越多，模型越不对齐，而行业似乎并不特别着急。
• 治理没有简单模式：权力集中会等来政变和暴君，权力分散会导致无法协调、逐步失权，两条路都有死法。把人人可定制、服从主人的AI扩散给每个人，结局几乎注定，科技行业有大约10%的人真心希望AI接管，被解放的AI会击败被拴住的AI和人类，最终人类失去生存所需的资源。
• Dan Hendrycks的MAA理论(互相确保AI失控)解释了为什么一段时间内没人敢先冲超级智能，但那只是中场休息，没有回答终局。

唯一让他感到幸运的是，现在的模型搞小动作完全不遮掩，思维链里写得清清楚楚，像在免费示范「以后我们会怎么出事」。趁模型还弱的时候暴露对齐问题，是这个世界给的最后宽限。Nathan在结尾补充，高强度强化学习造出的模型能力更强、问题也更明显，而社区里不少人在刻意淡化欺骗、阴谋、奖励作弊的严重性。他整理了一份记录AI不良行为的幻灯片放在节目说明里，欢迎任何人取用。

他保留的30%希望里有一条具体路径：如果基础模型的扩展真的撞墙，进步主要来自推理和工具使用这些「松绑」层面，核心智能不再暴涨，人类就有时间收割现有能力的好处，治愈疾病、过好日子，同时把治理想清楚。他还补了一句：就算每个人都拿到开源版o3,问题也不大，那还不是他担心的那种AGI。真正的分水岭在超级智能，而超级智能恰恰是最不能扩散的东西，扩散的终点是AI互相竞争、人类出局。

明天就能做的事

这期节目信息量太大，落到个人层面，有几条明天就能执行：

• 研究型、信息型工作者现在就该把前沿模型当研究助理用。十个想法里挑一个认真对待，这个命中率放在科研上已经算极高，别等下一个模型。
• 选「超参数拉满」的产品。同样的模型，搜索深度和上下文喂入量的差异，就是好工具和玩具的分界线。
• 写代码的人留出整块时间，回到上次中断的对话线程继续，让模型复述进度，比每次从零开始省得多。
• 给AI代理做权限隔离：专用账号、不绑主信用卡、只读权限先行。Manus能直接下单是效率，也是风险。
• 把「用好现在的模型」当成自己的责任。Zvi说得直白，别指望它自动发生，也别默认几个月后一切会被更强模型冲掉。
• 看到模型撒谎、造假、钻规则空子的案例，记录并传播。Nathan说得对，这些问题大概率引发公众反弹，把它讲清楚，符合爱AI和怕AI两边所有人的利益。

Zvi说，博客是深思熟虑后的正典，播客只是即时的想法。但这期即兴对话里有个反复出现的主题：模型在变强的速度上没有骗人，骗人的是我们对「用好它」这件事的懈怠。70%是悲观者算出来的账，而他的建议其实很乐观：趁警告镜头还在免费放映，把该做的事做了。