# 开除奥特曼的董事开口了：Q*谣言是假的，AI进战场才是真问题 > Cognitive Revolution No. 235 中文精读 - 原标题：Helen Toner: OpenAI Reflections, Adaptation Buffers, and AI in Warfare - 发布日期：2025-04-16 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/235-helen-toner-openai-reflections-adaptation-buffers-and-ai-in-fmEpVL.html - 精读字数：约 6131 字（阅读约 14 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2023年11月，OpenAI董事会把CEO Sam Altman扫地出门，几天后又把他请回来，这场风波成了AI行业最著名的内斗。董事会成员Helen Toner从此背上了一个身份：那个开除奥特曼的人。 2025年4月，她在Nathan Labenz主持的播客Cognitive Revolution里做客，顺带澄清了一个流传两年的传闻：所谓内部Q*项目取得推理突破、员工写信警告、董事会因此动手。她的原话是，路透社那篇报道“完全是假的”。**董事会知道那项研究在进行，但从没收到过什么突破信件，开除决定跟那封信无关。** 这期节目真正的分量在别处。Toner的本职是乔治城智库CSET（安全与新兴技术中心）的战略与基础研究资助总监，刚开了个博客叫Rising Tide。她2016年就开始全职做AI政策，比加入OpenAI董事会早了整整五年。当时她还觉得自己“来晚了”：深度学习革命2012年就被AlexNet点燃，到2015、2016年早已全面展开。现在回头看，她算极早的一批，2018、2019年才陆续有人跟进，ChatGPT在2022年底又引爆一轮更大的关注。 她2021年进董事会时，GPT-3已经作为API产品商用，微软已经投了10亿美元。为什么是她？懂AI政策、在中国待过、有国家安全背景，再加上一条当时极其稀缺的资质：**认真把AGI当回事思考了好几年的人，那个年头全圈子数得过来**。公开说“要造AGI”，在体面的机器学习学术圈是异类行为，只有DeepMind一家在认真聊。 关于时间线，她有个观察：现在AI圈被称作“长时间线”的观点，放在几年前算激进的短时间线。她2016年入行时的“短时间线”，指“我们有生之年可能造出极强大的系统，值得社会提前准备”；如今“短时间线”意味着2020年代结束前出现超级智能。标准漂移得厉害，她自己不站队，只坚持一条：这事发生的可能性高到值得认真准备。 ## Q*谣言是假的，公司的声音是分裂的 很多人等着她爆料OpenAI内幕。她直接把话挑明：没有藏着的大黑幕。 她的约束有三层。第一，董事会成员的保密义务持续存在，这点跟前员工不同；第二，多起诉讼正在进行，她的公开言论可能被交叉比对，小出入都会惹麻烦；第三，大量细节涉及保密对话和不该被拖下水的人，讲清楚的收益配不上代价。她认为自己讲得最细的一次在去年的TED AI Show，感兴趣的可以去找来听。 Q*那条是她这次唯一的增量信息。她当时不评论，是为了不抢在OpenAI自己发布o1、o3之前泄露研究方向，现在相关模型已经公开，她才把话说死。 Nathan接着抛出一个尖锐观察：这家公司内部的声音分裂得近乎离谱。同一周里，研究团队发表了关于混淆奖励破解（obfuscated reward hacking）的论文，堪称AI失控风险的顶级警告；政策团队却给白宫提交了一份对华调门极高的意见信，Altman的口径是“要么我们的价值观，要么他们的价值观，没有第三条路”，还要求放开版权数据随便训练。Toner说她同样困惑，而且这种感觉近一两年更明显。她的猜测是公司给员工发推、发论文留了不小空间，不同内容走不同流程。她只希望**里面的技术人才注意到，公司对外发出的政策信号已经自相矛盾到什么程度**。 录音之后还有个新进展：12位前OpenAI员工在马斯克诉讼中提交了法庭之友陈述，主张非营利承诺是公司早期招人的核心竞争力，非营利方不应交出控制权。Nathan在节目开头专门提了这件事，说打算为此做一整期。 ## 给公司里不安的人：别等那个不会来的危机时刻 如果你在前沿AI公司工作，看到了让你不安的东西，该怎么办？Toner给了两边建议。 政策这边，她指出现有吹哨机制几乎都针对违法行为，证监会管金融欺诈有清晰流程，可AI领域让人担心的行为大多不违法，吹哨的边界就模糊了。她开出的方子是把吹哨保护和信息披露义务捆绑：要求公司制定安全与安保计划，公开或提交给政府，**一旦公司没按计划执行，吹哨就有了清晰标准**。这比“你觉得有风险就打热线”好用得多，对公司也公平，员工不用随口乱说，公司也守得住真正的商业机密。 她补了一个容易被忽略的细节：吹哨人的用户体验。他们是技术人，不熟法律，可能害怕，可能忙得没时间，流程只要复杂含糊，就等于没有。 给内部人的话更扎心。她转述过一个观点：**这些员工可能正处在此生权力的最高点，因为他们的工作就是亲手把自己替代掉**。很多人的打算是“先忍着，等事情更严重再说”。她提醒两件事：其一，等你的工作被自动化，你的筹码只会更少，科技行业劳工的议价能力本来就在走低；其二，未来大概率没有那个“清晰的大危机时刻”，只有温水煮青蛙式的“这事有点不对、这话有点不诚实、这风险有点大”。 > 如果你只在出现大事件时才行动，那就要对自己诚实：这可能意味着你永远不行动。 至于工会，她说劳动组织和AI政策这两个圈子至今几乎没打过照面，接下来几年会连上，她挺好奇会碰出什么。 ## 适应缓冲期：DeepSeek证明的那件事 这是Toner新博客的核心概念，也是整期节目最有传播价值的部分。 AI行业眼下有个双重动态：一头，训练最前沿模型的成本持续暴涨，算力和顶级团队的门槛越抬越高；另一头，**每一种已被实现的能力，第一次造出来极贵，随后就一路降价**。DeepSeek是活例子：他们没有超越前沿，做的是把美国公司已有的能力复刻下来，按推理模型算落后一两个月，按基础模型算落后六到九个月，价格却低得多。具体便宜多少可以吵，趋势没有争议。 这个动态直接动摇了“AI不扩散”的思路。Toner拿核不扩散做对比：核不扩散运转得不错，全球只有十几个国家拥核，靠的是造核弹需要大量高浓缩铀和高度专业的设施，这些材料别处用不上、也没法藏进后院。可假如铀的需求量逐年下降、浓缩门槛逐年降低，总有一天国际原子能机构得挨家挨户检查农场的土壤，因为几亩地里的铀理论上就够造一颗微型核弹。那种制度根本撑不住。 AI能力恰恰是那个越来越便宜的“铀”。越想封锁，政策就得越具侵入性。 她的替代方案叫适应缓冲（adaptation buffer）：**利用能力首次被演示（贵、少数人可得）到广泛普及（便宜、人人可得）之间的窗口期，投资社会韧性**。比如扩大疫苗产能、铺开废水监测、在全球更多地方储备检测工具包，让生物袭击真发生时能更快识别、更快响应；网络安全同理。她承认这个思路未必够用，如果AI进步快到离谱，再好的准备也可能不够，但比“把危险技术锁死”更有效，侵入性也更低。 她还泼了纯技术方案一盆冷水。讨论滥用风险时，大家爱盯着攻防平衡：AI帮黑客多还是帮防御者多？帮造疫苗多还是帮造生化武器多？她说这只是图景的一小块。很多最有效的防滥用手段跟AI毫无关系，比如FBI盯的是谁、多早能识破阴谋。就算用到AI，用的也未必是前沿模型。**网络安全真正的瓶颈在分发：怎么把设计好、开箱即用的防御工具，送到水厂、电网、化工厂那些根本不懂AI的运营者手里。** 还有一个时间差必须正视。就算AI长期利好防御方，模型发布到“某个愤青在地下室用它发动攻击”的时间差，远短于模型发布到“成千上万家关键基础设施运营商翻完祖传代码库、理清IT和OT系统的边界、完成防御升级”的时间差。危险过渡期躲不掉，但把它看作过渡期而非永久噩梦，应对会好得多。 ## 监管卡死，“赢中国”成了万能话术 Nathan问她有没有喜欢的监管方案。她的回答很坦率：**综合管理前沿AI风险的完整方案，她一个都没见过让她满意的**。问题太大、太复杂，而且没人确定问题具体长什么样、什么时候来。她支持的是一块块“积木”：Dean Ball提出的监管市场，政府认证私人监管机构，开发者让监管方满意就拿到责任豁免，至少比没有强，而且州层面可行；透明度要求，包括公开模型规格、能力和风险的测试结果、安全流程，先缩小开发公司与所有人之间的信息鸿沟；资助AI测量科学、可解释性和对齐研究；给政府补技术人才。还有人照着“爱国者法案”的思路预写法案，赌危机后的立法窗口，她认为这个准备方式本身合理。 现实有多骨感？美国那个10^26算力报告阈值命运未卜，可能还悬在商务部手里，但已经摇摇欲坠。欧盟AI法案的行为准则还在制定，覆盖10^25以上的模型，同时正被政治压力要求稀释。至于联邦立法，她引用一位在国会山工作多年的朋友的话：**现在的美国众议院，是内战以来功能最失灵的时期**，这还没算AI的因素。 她讲了三里岛核事故的教训：那次事故基本杀死了美国核电产业，因为事后的安全监管过重，跟实际风险不成比例。她认为这个故事应该成为AI开发者自建护栏的动力：提前做了，真出事时还能拿出“我们早就做了这些，这是意外”的答案。**现在的轨道通向的是事故后的膝跳反射式过度反应，而且可能已经来不及拦了。**哪些事故会点燃公众情绪，本身也难预测。GPT-4发布后真正出圈的，是记者Kevin Roose和微软聊天机器人Sydney的那段对话，AI圈内人觉得是记者自己一步步引导出来的，没什么实质危害，公众却炸了。语音克隆也类似，产品里随便选个声音就能冒充特朗普或泰勒·斯威夫特打电话，圈内人未必最担心这个，但它足够直观，最容易引发和实际风险不成比例的反噬。 对话里还有一段关于“迭代部署”的讨论。Nathan担心行业正在从“边发布边调整”后撤：Ilya Sutskever的新公司明确宣布在达成超级智能之前不发布任何东西；Altman在GPT-4.5发布时说，这模型太耗算力，大家要是不喜欢就下线，OpenAI随后真宣布了GPT-4.5将从API下架。Toner认同迭代部署本身是好方法，前提是设好“什么时候不能再只靠迭代”的标准。Nathan顺势提了个“相对限速”点子：新模型的资源投入不得超过已部署最大模型的某个倍数，想突破就得先部署点什么帮社会理解走向。Toner觉得概念上有意思，但撞上两堵墙：没有立法根本无法执行，而立法眼下不可能；就算执行了，反对者一句“输给中国”就能否决。她自己的偏好是条件式减速：没达到某种理解水平或风险缓解水平就别推进，这种“没达标就不动”的逻辑比“暂停六个月”靠谱，几家头部公司也已有自愿承诺。 然后是中国。Toner先补了一场地缘政治课：守成大国遇上崛起大国，默认走向是敌对，美英之间的和平交接是历史罕见的例外。八九十年代美国试图把中国纳入“规则为基础的国际秩序”，“负责任的利益相关者”就是那个时代的词，中国加入WTO是高潮；2012年之后这条线崩了，南海更激进、体制更收紧，明确表示不玩这套。更拧巴的是，美国自己如今也在退出这套秩序，回到实力说话。 接着是全期最锋利的一段交锋。Nathan指出，Altman和Anthropic的Dario Amodei都有视频存档，不久前还在说对华军备竞赛是最糟糕的事，如今双双改口“不全力冲刺就会输”，Dario甚至说要维持单极世界。Nathan反问：**嚷着要单极世界的只有美国人，中国人没这么喊，他们还在开源一切。**Toner的回应分两层：开源这件事，站在追赶者的位置完全合理，展示实力、吸引人才，跟善意关系不大，真领先了开放反而难办；至于CEO们集体转向鹰派，她的判断毫不客气：**这就是当下阻力最小的路径**。AI的问题千头万绪又没有共识，唯一能达成共识的一句话是“必须赢中国”，于是公司拿这句话换政府资金、换国防合同、换免于监管、换责任豁免。 ## AI进战场：宣传视频和现实的距离 压轴话题来自Toner在CSET的新论文，第一作者是同事Emilia Probasco，背景罕见：罗德学者，还在美国海军服役过，岗位是军舰上的宙斯盾（Aegis）导弹防御系统操作员。 先补一个多数人不知道的事实：**严格意义上的自主武器早就存在了**。宙斯盾系统上世纪六七十年代研发、八十年代上舰，自动识别并击落来袭导弹，用的还不是深度学习。 论文研究的是“决策支持系统”，一个比自主武器大得多的范畴。简单端有图像视野分析，算出狙击手在某个位置能看见哪片区域；有战场医疗分诊，决定先救谁、往哪送；有舰船航迹异常检测，这块能力近十几年进步飞快。复杂端是Palantir、Scale AI这些公司宣传的LLM“战斗伙伴”，早期营销视频里的功能清单长得吓人，后来悄悄收窄了。 问题出在演示视频把不同性质的东西搅在一起卖。有些用途听着合理：用自然语言查“离我最近的友军单位在哪”“他们有多少枚某型导弹”，本质是查一个有据可查的数据库。可同一段视频里混着这种指令：“生成三个非升级性的行动方案。”**大语言模型凭什么判断什么算升级、什么不算？谁来评估它给出的方案会通向什么后果？**这些疑问在宣传片里一个字都没提。 论文给了三个评估维度。一看范围：系统绑得多紧、能不能针对具体任务充分测试，还是个大而全的万能口袋。二看数据：训练数据能不能反映你实际面对的情境，军事行动的特殊麻烦在于情境既新颖、又有对手在故意搅局。三看人机交互：系统能不能帮操作者搞清它能做什么、不能做什么，防止过度信任。军用界面设计被低估、然后酿成事故，历史上有前科。 Nathan抛出他担心的终局：“军队版AlphaGo”，用自我博弈和模拟把战术推到人类永远追不上的高度，速度优势一叠加，直通天网。Toner不买账。她说战争模拟是个近乎无解的题：模拟一场战斗，得连上整个战区的兵力调动，得连上全球经济政治，还得连上民意，变量太多，未知太多，对手还能故意往你的假设里扔扳手。她引了David Chapman的一组概念：rationality（理性）与reasonableness（合情合理）。技术圈常把混乱的现实世界当成某个干净抽象系统的粗糙近似，比如把战争当成围棋或星际争霸的粗糙版。**顺序反了，那些干净的游戏才是真实世界极特殊的特例。**强化学习擅长干净抽象系统，而今天的模型在真实世界里边干边调的能力依然挣扎。 连Dan Hendrycks、Eric Schmidt和Scale AI的Alexandr Wang合写的那篇MAD论文（相互确保的AI失灵），她也只给了半个赞。核心逻辑有价值：破坏一个AI项目可能比建成容易，这本身是稳定因素，也让“我们冲线就赢了”的幻想降了温。可它远没有核威慑那种清晰度：核弹长什么样、威力多大、二次打击成立后局势如何，全都明明白白；超级智能长什么样、战略上值多少，全是问号。 节目最后她交了底：超级智能世界里民族国家会怎样、民主会怎样，她都不知道。问题比答案多，这就是当下。 ## 明天就能用上的三件事 - **看AI新闻时，用“缓冲期”思维问一个问题**：这个吓人的新能力，从首次演示到便宜普及，中间隔多久？DeepSeek那次给出的参考答案是六到九个月。个人和组织的准备动作，就该排在这个窗口里。 - **评估任何AI系统，包括你打算买的产品，用三个维度**：范围够不够窄、能不能测；训练数据贴不贴近你的真实场景；界面有没有帮你搞清它的边界。军用决策系统的检验标准，用在客服机器人上同样成立。 - **听到“必须赢中国所以别管风险”，多留个心眼**。下次有人拿这句话论证免监管、拿合同、拿责任豁免，想想Toner的判断：这是阻力最小的路径，跟技术现实关系不大。 还有一条给在AI公司工作的人，Toner的原话值得抄在便签上：如果你只在出现大危机时才肯行动，请诚实地承认，那大概率意味着你永远不行动。