开除奥特曼的董事开口了:Q*谣言是假的,AI进战场才是真问题
Helen Toner: OpenAI Reflections, Adaptation Buffers, and AI in Warfare
CSET 战略总监 Helen Toner 谈 AI 发展、监管与国际竞争,澄清 Q* 突破影响董事会决定的报道完全不实,并介绍她提出的适应缓冲概念。
2023年11月,OpenAI董事会把CEO Sam Altman扫地出门,几天后又把他请回来,这场风波成了AI行业最著名的内斗。董事会成员Helen Toner从此背上了一个身份:那个开除奥特曼的人。
2025年4月,她在Nathan Labenz主持的播客Cognitive Revolution里做客,顺带澄清了一个流传两年的传闻:所谓内部Q*项目取得推理突破、员工写信警告、董事会因此动手。她的原话是,路透社那篇报道“完全是假的”。董事会知道那项研究在进行,但从没收到过什么突破信件,开除决定跟那封信无关。
这期节目真正的分量在别处。Toner的本职是乔治城智库CSET(安全与新兴技术中心)的战略与基础研究资助总监,刚开了个博客叫Rising Tide。她2016年就开始全职做AI政策,比加入OpenAI董事会早了整整五年。当时她还觉得自己“来晚了”:深度学习革命2012年就被AlexNet点燃,到2015、2016年早已全面展开。现在回头看,她算极早的一批,2018、2019年才陆续有人跟进,ChatGPT在2022年底又引爆一轮更大的关注。
她2021年进董事会时,GPT-3已经作为API产品商用,微软已经投了10亿美元。为什么是她?懂AI政策、在中国待过、有国家安全背景,再加上一条当时极其稀缺的资质:认真把AGI当回事思考了好几年的人,那个年头全圈子数得过来。公开说“要造AGI”,在体面的机器学习学术圈是异类行为,只有DeepMind一家在认真聊。
关于时间线,她有个观察:现在AI圈被称作“长时间线”的观点,放在几年前算激进的短时间线。她2016年入行时的“短时间线”,指“我们有生之年可能造出极强大的系统,值得社会提前准备”;如今“短时间线”意味着2020年代结束前出现超级智能。标准漂移得厉害,她自己不站队,只坚持一条:这事发生的可能性高到值得认真准备。
Q*谣言是假的,公司的声音是分裂的
很多人等着她爆料OpenAI内幕。她直接把话挑明:没有藏着的大黑幕。
她的约束有三层。第一,董事会成员的保密义务持续存在,这点跟前员工不同;第二,多起诉讼正在进行,她的公开言论可能被交叉比对,小出入都会惹麻烦;第三,大量细节涉及保密对话和不该被拖下水的人,讲清楚的收益配不上代价。她认为自己讲得最细的一次在去年的TED AI Show,感兴趣的可以去找来听。
Q*那条是她这次唯一的增量信息。她当时不评论,是为了不抢在OpenAI自己发布o1、o3之前泄露研究方向,现在相关模型已经公开,她才把话说死。
Nathan接着抛出一个尖锐观察:这家公司内部的声音分裂得近乎离谱。同一周里,研究团队发表了关于混淆奖励破解(obfuscated reward hacking)的论文,堪称AI失控风险的顶级警告;政策团队却给白宫提交了一份对华调门极高的意见信,Altman的口径是“要么我们的价值观,要么他们的价值观,没有第三条路”,还要求放开版权数据随便训练。Toner说她同样困惑,而且这种感觉近一两年更明显。她的猜测是公司给员工发推、发论文留了不小空间,不同内容走不同流程。她只希望里面的技术人才注意到,公司对外发出的政策信号已经自相矛盾到什么程度。
录音之后还有个新进展:12位前OpenAI员工在马斯克诉讼中提交了法庭之友陈述,主张非营利承诺是公司早期招人的核心竞争力,非营利方不应交出控制权。Nathan在节目开头专门提了这件事,说打算为此做一整期。
给公司里不安的人:别等那个不会来的危机时刻
如果你在前沿AI公司工作,看到了让你不安的东西,该怎么办?Toner给了两边建议。
政策这边,她指出现有吹哨机制几乎都针对违法行为,证监会管金融欺诈有清晰流程,可AI领域让人担心的行为大多不违法,吹哨的边界就模糊了。她开出的方子是把吹哨保护和信息披露义务捆绑:要求公司制定安全与安保计划,公开或提交给政府,一旦公司没按计划执行,吹哨就有了清晰标准。这比“你觉得有风险就打热线”好用得多,对公司也公平,员工不用随口乱说,公司也守得住真正的商业机密。
她补了一个容易被忽略的细节:吹哨人的用户体验。他们是技术人,不熟法律,可能害怕,可能忙得没时间,流程只要复杂含糊,就等于没有。
给内部人的话更扎心。她转述过一个观点:这些员工可能正处在此生权力的最高点,因为他们的工作就是亲手把自己替代掉。很多人的打算是“先忍着,等事情更严重再说”。她提醒两件事:其一,等你的工作被自动化,你的筹码只会更少,科技行业劳工的议价能力本来就在走低;其二,未来大概率没有那个“清晰的大危机时刻”,只有温水煮青蛙式的“这事有点不对、这话有点不诚实、这风险有点大”。
如果你只在出现大事件时才行动,那就要对自己诚实:这可能意味着你永远不行动。
至于工会,她说劳动组织和AI政策这两个圈子至今几乎没打过照面,接下来几年会连上,她挺好奇会碰出什么。
适应缓冲期:DeepSeek证明的那件事
这是Toner新博客的核心概念,也是整期节目最有传播价值的部分。
AI行业眼下有个双重动态:一头,训练最前沿模型的成本持续暴涨,算力和顶级团队的门槛越抬越高;另一头,每一种已被实现的能力,第一次造出来极贵,随后就一路降价。DeepSeek是活例子:他们没有超越前沿,做的是把美国公司已有的能力复刻下来,按推理模型算落后一两个月,按基础模型算落后六到九个月,价格却低得多。具体便宜多少可以吵,趋势没有争议。
这个动态直接动摇了“AI不扩散”的思路。Toner拿核不扩散做对比:核不扩散运转得不错,全球只有十几个国家拥核,靠的是造核弹需要大量高浓缩铀和高度专业的设施,这些材料别处用不上、也没法藏进后院。可假如铀的需求量逐年下降、浓缩门槛逐年降低,总有一天国际原子能机构得挨家挨户检查农场的土壤,因为几亩地里的铀理论上就够造一颗微型核弹。那种制度根本撑不住。
AI能力恰恰是那个越来越便宜的“铀”。越想封锁,政策就得越具侵入性。
她的替代方案叫适应缓冲(adaptation buffer):利用能力首次被演示(贵、少数人可得)到广泛普及(便宜、人人可得)之间的窗口期,投资社会韧性。比如扩大疫苗产能、铺开废水监测、在全球更多地方储备检测工具包,让生物袭击真发生时能更快识别、更快响应;网络安全同理。她承认这个思路未必够用,如果AI进步快到离谱,再好的准备也可能不够,但比“把危险技术锁死”更有效,侵入性也更低。
她还泼了纯技术方案一盆冷水。讨论滥用风险时,大家爱盯着攻防平衡:AI帮黑客多还是帮防御者多?帮造疫苗多还是帮造生化武器多?她说这只是图景的一小块。很多最有效的防滥用手段跟AI毫无关系,比如FBI盯的是谁、多早能识破阴谋。就算用到AI,用的也未必是前沿模型。网络安全真正的瓶颈在分发:怎么把设计好、开箱即用的防御工具,送到水厂、电网、化工厂那些根本不懂AI的运营者手里。
还有一个时间差必须正视。就算AI长期利好防御方,模型发布到“某个愤青在地下室用它发动攻击”的时间差,远短于模型发布到“成千上万家关键基础设施运营商翻完祖传代码库、理清IT和OT系统的边界、完成防御升级”的时间差。危险过渡期躲不掉,但把它看作过渡期而非永久噩梦,应对会好得多。
监管卡死,“赢中国”成了万能话术
Nathan问她有没有喜欢的监管方案。她的回答很坦率:综合管理前沿AI风险的完整方案,她一个都没见过让她满意的。问题太大、太复杂,而且没人确定问题具体长什么样、什么时候来。她支持的是一块块“积木”:Dean Ball提出的监管市场,政府认证私人监管机构,开发者让监管方满意就拿到责任豁免,至少比没有强,而且州层面可行;透明度要求,包括公开模型规格、能力和风险的测试结果、安全流程,先缩小开发公司与所有人之间的信息鸿沟;资助AI测量科学、可解释性和对齐研究;给政府补技术人才。还有人照着“爱国者法案”的思路预写法案,赌危机后的立法窗口,她认为这个准备方式本身合理。
现实有多骨感?美国那个10^26算力报告阈值命运未卜,可能还悬在商务部手里,但已经摇摇欲坠。欧盟AI法案的行为准则还在制定,覆盖10^25以上的模型,同时正被政治压力要求稀释。至于联邦立法,她引用一位在国会山工作多年的朋友的话:现在的美国众议院,是内战以来功能最失灵的时期,这还没算AI的因素。
她讲了三里岛核事故的教训:那次事故基本杀死了美国核电产业,因为事后的安全监管过重,跟实际风险不成比例。她认为这个故事应该成为AI开发者自建护栏的动力:提前做了,真出事时还能拿出“我们早就做了这些,这是意外”的答案。现在的轨道通向的是事故后的膝跳反射式过度反应,而且可能已经来不及拦了。哪些事故会点燃公众情绪,本身也难预测。GPT-4发布后真正出圈的,是记者Kevin Roose和微软聊天机器人Sydney的那段对话,AI圈内人觉得是记者自己一步步引导出来的,没什么实质危害,公众却炸了。语音克隆也类似,产品里随便选个声音就能冒充特朗普或泰勒·斯威夫特打电话,圈内人未必最担心这个,但它足够直观,最容易引发和实际风险不成比例的反噬。
对话里还有一段关于“迭代部署”的讨论。Nathan担心行业正在从“边发布边调整”后撤:Ilya Sutskever的新公司明确宣布在达成超级智能之前不发布任何东西;Altman在GPT-4.5发布时说,这模型太耗算力,大家要是不喜欢就下线,OpenAI随后真宣布了GPT-4.5将从API下架。Toner认同迭代部署本身是好方法,前提是设好“什么时候不能再只靠迭代”的标准。Nathan顺势提了个“相对限速”点子:新模型的资源投入不得超过已部署最大模型的某个倍数,想突破就得先部署点什么帮社会理解走向。Toner觉得概念上有意思,但撞上两堵墙:没有立法根本无法执行,而立法眼下不可能;就算执行了,反对者一句“输给中国”就能否决。她自己的偏好是条件式减速:没达到某种理解水平或风险缓解水平就别推进,这种“没达标就不动”的逻辑比“暂停六个月”靠谱,几家头部公司也已有自愿承诺。
然后是中国。Toner先补了一场地缘政治课:守成大国遇上崛起大国,默认走向是敌对,美英之间的和平交接是历史罕见的例外。八九十年代美国试图把中国纳入“规则为基础的国际秩序”,“负责任的利益相关者”就是那个时代的词,中国加入WTO是高潮;2012年之后这条线崩了,南海更激进、体制更收紧,明确表示不玩这套。更拧巴的是,美国自己如今也在退出这套秩序,回到实力说话。
接着是全期最锋利的一段交锋。Nathan指出,Altman和Anthropic的Dario Amodei都有视频存档,不久前还在说对华军备竞赛是最糟糕的事,如今双双改口“不全力冲刺就会输”,Dario甚至说要维持单极世界。Nathan反问:嚷着要单极世界的只有美国人,中国人没这么喊,他们还在开源一切。Toner的回应分两层:开源这件事,站在追赶者的位置完全合理,展示实力、吸引人才,跟善意关系不大,真领先了开放反而难办;至于CEO们集体转向鹰派,她的判断毫不客气:这就是当下阻力最小的路径。AI的问题千头万绪又没有共识,唯一能达成共识的一句话是“必须赢中国”,于是公司拿这句话换政府资金、换国防合同、换免于监管、换责任豁免。
AI进战场:宣传视频和现实的距离
压轴话题来自Toner在CSET的新论文,第一作者是同事Emilia Probasco,背景罕见:罗德学者,还在美国海军服役过,岗位是军舰上的宙斯盾(Aegis)导弹防御系统操作员。
先补一个多数人不知道的事实:严格意义上的自主武器早就存在了。宙斯盾系统上世纪六七十年代研发、八十年代上舰,自动识别并击落来袭导弹,用的还不是深度学习。
论文研究的是“决策支持系统”,一个比自主武器大得多的范畴。简单端有图像视野分析,算出狙击手在某个位置能看见哪片区域;有战场医疗分诊,决定先救谁、往哪送;有舰船航迹异常检测,这块能力近十几年进步飞快。复杂端是Palantir、Scale AI这些公司宣传的LLM“战斗伙伴”,早期营销视频里的功能清单长得吓人,后来悄悄收窄了。
问题出在演示视频把不同性质的东西搅在一起卖。有些用途听着合理:用自然语言查“离我最近的友军单位在哪”“他们有多少枚某型导弹”,本质是查一个有据可查的数据库。可同一段视频里混着这种指令:“生成三个非升级性的行动方案。”大语言模型凭什么判断什么算升级、什么不算?谁来评估它给出的方案会通向什么后果?这些疑问在宣传片里一个字都没提。
论文给了三个评估维度。一看范围:系统绑得多紧、能不能针对具体任务充分测试,还是个大而全的万能口袋。二看数据:训练数据能不能反映你实际面对的情境,军事行动的特殊麻烦在于情境既新颖、又有对手在故意搅局。三看人机交互:系统能不能帮操作者搞清它能做什么、不能做什么,防止过度信任。军用界面设计被低估、然后酿成事故,历史上有前科。
Nathan抛出他担心的终局:“军队版AlphaGo”,用自我博弈和模拟把战术推到人类永远追不上的高度,速度优势一叠加,直通天网。Toner不买账。她说战争模拟是个近乎无解的题:模拟一场战斗,得连上整个战区的兵力调动,得连上全球经济政治,还得连上民意,变量太多,未知太多,对手还能故意往你的假设里扔扳手。她引了David Chapman的一组概念:rationality(理性)与reasonableness(合情合理)。技术圈常把混乱的现实世界当成某个干净抽象系统的粗糙近似,比如把战争当成围棋或星际争霸的粗糙版。顺序反了,那些干净的游戏才是真实世界极特殊的特例。强化学习擅长干净抽象系统,而今天的模型在真实世界里边干边调的能力依然挣扎。
连Dan Hendrycks、Eric Schmidt和Scale AI的Alexandr Wang合写的那篇MAD论文(相互确保的AI失灵),她也只给了半个赞。核心逻辑有价值:破坏一个AI项目可能比建成容易,这本身是稳定因素,也让“我们冲线就赢了”的幻想降了温。可它远没有核威慑那种清晰度:核弹长什么样、威力多大、二次打击成立后局势如何,全都明明白白;超级智能长什么样、战略上值多少,全是问号。
节目最后她交了底:超级智能世界里民族国家会怎样、民主会怎样,她都不知道。问题比答案多,这就是当下。
明天就能用上的三件事
- 看AI新闻时,用“缓冲期”思维问一个问题:这个吓人的新能力,从首次演示到便宜普及,中间隔多久?DeepSeek那次给出的参考答案是六到九个月。个人和组织的准备动作,就该排在这个窗口里。
- 评估任何AI系统,包括你打算买的产品,用三个维度:范围够不够窄、能不能测;训练数据贴不贴近你的真实场景;界面有没有帮你搞清它的边界。军用决策系统的检验标准,用在客服机器人上同样成立。
- 听到“必须赢中国所以别管风险”,多留个心眼。下次有人拿这句话论证免监管、拿合同、拿责任豁免,想想Toner的判断:这是阻力最小的路径,跟技术现实关系不大。
还有一条给在AI公司工作的人,Toner的原话值得抄在便签上:如果你只在出现大危机时才肯行动,请诚实地承认,那大概率意味着你永远不行动。
In this thought-provoking conversation, Helen Toner, Director of Strategy at the Center for Security and Emerging Technology (CSET), discusses her perspectives on AI development, regulation, and international competition. Toner shares insights from her time on OpenAI's board, clarifying that reports about a "Q*" breakthrough influencing the board's decision were "totally false." She introduces her concept of "adaptation buffers"—critical windows of time between when AI capabilities are first demonstrated and when they become widely accessible—arguing that society needs this time to build resilience against potential misuse. Toner also explores the challenges of implementing effective AI governance, military applications of AI decision support systems, and the complex dynamics of US-China relations in the emerging AI landscape.
Helen Toner's appearance on the TED AI show: https://www.ted.com/talks/the_ted_ai_show_what_really_went_down_at_openai_and_the_future_of_regulation_w_helen_toner
Helen Toner's substack : https://helentoner.substack.com/
Additional recommended reads:
https://helentoner.substack.com/p/nonproliferation-is-the-wrong-approach
https://cset.georgetown.edu/publication/ai-for-military-decision-making/
https://www.lawfaremedia.org/article/ai-regulation-s-champions-can-seize-common-ground-or-be-swept-aside
https://www.economist.com/by-invitation/2024/05/26/ai-firms-mustnt-govern-themselves-say-ex-members-of-openais-board
SPONSORS:
Oracle Cloud Infrastructure (OCI): Oracle Cloud Infrastructure offers next-generation cloud solutions that cut costs and boost performance. With OCI, you can run AI projects and applications faster and more securely for less. New U.S. customers can save 50% on compute, 70% on storage, and 80% on networking by switching to OCI before May 31, 2024. See if you qualify at https://oracle.com/cognitive
Shopify: Shopify powers millions of businesses worldwide, handling 10% of U.S. e-commerce. With hundreds of templates, AI tools for product descriptions, and seamless marketing campaign creation, it's like having a design studio and marketing team in one. Start your $1/month trial today at https://shopify.com/cognitive
NetSuite: Over 41,000 businesses trust NetSuite by Oracle, the #1 cloud ERP, to future-proof their operations. With a unified platform for accounting, financial management, inventory, and HR, NetSuite provides real-time insights and forecasting to help you make quick, informed decisions. Whether you're earning millions or hundreds of millions, NetSuite empowers you to tackle challenges and seize opportunities. Download the free CFO's guide to AI and machine learning at https://netsuite.com/cognitive
PRODUCED BY:
https://aipodcast.ing
CHAPTERS:
(00:00) Teaser
(06:04) Introduction and Background
(09:32) AI Timeline Perspectives
(12:26) OpenAI Board Experience
(17:04) OpenAI Culture Discussion (Part 1)
(19:20) Sponsors: Oracle Cloud Infrastructure (OCI) | Shopify
(20:33) Sponsors: Oracle Cloud Infrastructure (OCI) | Shopify
(22:30) OpenAI Culture Discussion (Part 2)
(24:03) OpenAI's Contradictory Messaging
(26:15) Whistleblowing in AI
(31:30) AI Transparency Requirements (Part 1)
(36:30) Sponsors: NetSuite
(37:58) AI Transparency Requirements (Part 2)
(38:38) Adaptation Buffers Concept
(44:06) Technical vs. Societal Solutions
(52:13) AI Regulation Approaches
(57:20) Iterative Deployment Challenges
(01:05:50) US-China AI Competition
(01:14:54) Military Decision Support Systems
(01:20:57) Future AI Military Equilibrium
(01:27:39) Outro
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


