承诺给20%算力，连零头都没批：OpenAI超级对齐团队解散始末

2023年7月，OpenAI宣布组建超级对齐团队（Superalignment），白纸黑字承诺：把公司当时现有算力的20%划给这支队伍，用4年时间解决超级智能的对齐问题。

2024年5月14日，首席科学家Ilya Sutskever宣布离开。三天后，团队另一位联合负责人Jan Leike辞职，随后发出长篇声明：过去几个月，团队申请的算力只有承诺额度的一小部分，反复被拒。TechCrunch随后核实了这一说法。团队解散，成员被打散分进各个产品组。

距离那个4年之约，刚过去9个月。

这是Cognitive Revolution的一期加急节目。主持人Nathan Labenz是创业者兼AI投资人，请来的常客Zvi Mowshowitz是圈内最勤奋的AI观察者之一，每周在自己的博客上写长篇简报，逐条追踪模型发布、公司动向和安全研究。录制当天，Leike的声明刚挂上网，Sam Altman的回应也刚发出，两个人边看材料边拆，把这场风波里能确认的事实和值得警惕的信号捋了一遍。

一纸终身封口协议，比离职声明更扎眼

先看Leike说了什么。他与领导层存在根本分歧；安全文化和流程让位给了光鲜的产品；他拿不到开展工作所需的资源，算力首当其冲。声明里对老队友不乏温情，通篇读下来，这更像一场以辞职为形式的抗议。

安全文化和流程，已经让位给了光鲜的产品。

Altman的回应很快，Nathan的评价是“极其得体”，大意是：

我们有很多工作要做，我们会去做。

Zvi的解读很冷静：这是当下能说出的最好回应，但话说出口，账就记下了，接下来只看行动。回应里没有一个具体承诺，等于把答卷时间留给了自己。

比声明更扎眼的，是Vox记者Kelsey Piper确认的一份协议细节。OpenAI要求离职员工签署终身有效的禁止贬损条款，条款里还嵌着另一份保密协议，内容是不得透露这份保密协议的存在。更关键的是入职环节：新员工拿到的薪酬包里股权占大头，没有人告诉他们，离职时若拒绝签这份条款，已经归属的股权会被没收。

Zvi的原话是，他搞不懂这为什么合法。他的逻辑很朴素：一家公司要求每个员工终身不得说它坏话，否则没收其大部分财富，外界就只能一律往坏处想。FTC正在全美封杀竞业协议，终身封口加股权没收，比竞业协议恶劣得多。

算力是硬通货：申请一小部分，反复被拒

观点分歧可以各说各话，产品团队和安全团队各自为政，也勉强说得通。算力不一样，算力是硬通货。Leike声明里最实的一条指控就是它：团队申请的只是20%承诺中的一小部分，反复被拒，已经构成实质性障碍。TechCrunch核实无误。

Zvi替读者算了笔账。20%听起来不少，但承诺的基数是“当时的现有算力”。按他的估计，两年后OpenAI手里的算力大概会翻10倍，承诺随时间稀释，摊到4年，实际是个很小的数字。参照核电站这类安全压倒一切的行业，研发预算的大头都花在安全上。超级对齐团队要的20%，本来就是一份相当克制的承诺。

Nathan补了一个商业视角的困惑：假如安全团队真正需要的只有5%的算力，给出去，安全研究也就快5%左右。为了省这几个百分点，放走Ilya和Leike，闹成全球头条，这笔账怎么算都不划算。

Zvi的判断是，算力只是压垮骆驼的最后一根稻草。Bloomberg的报道说，压垮Leike的直接导火索是Ilya的离开。Ilya在公司内部被边缘化，连过去那种内部协调者的角色都扮演不下去了。每走一个人，留下来的人信任少一分，外面的人猜疑多一分，形成连锁。

Ilya离开时，全网都在猜“伊利亚看见了什么”。Leike离职后，问题变成“Jan看见了什么”。Zvi的答案很平实：他们看见了一家嘴上讲安全、钱包不给安全的公司。文化敌视安全，资源绕开安全，重心转向光鲜的产品。赚钱没错，麻烦在于他们造的东西，按公司自己的使命写着要比人类聪明，放任它长大，出事的概率不低。

Nathan在节目里直接点了名：Sam，4年之期还作数吗？如果Altman仍然认为4年内需要超级对齐成功，这些动作和他自己说过的话就对不上。公司方面声称对齐工作会继续做下去，Zvi不买账：承诺已被打破，团队已解散，负责人已离开，剩下的看不出还是当初答应的那个样子。

GPT-4o连常规安全都在滑坡

Leike担心的还有一层，甚至不只是远期的超级智能。按他的说法，OpenAI连下一代模型的常规安全都没准备好。这里说的常规安全，是“核电站别熔毁”那个级别的日常安全，跟生存风险无关。

证据之一来自OpenAI自己的报告。GPT-4o面对“怎么造炸弹”这类不当请求的拒绝倾向，明显弱于GPT-4 Turbo，也弱于竞品，越狱抵抗同样松。Zvi没自己去红队测试，理由很直白：真想越狱的人早就越狱了，越狱圈名人Pliny拿到GPT-4o大约两分钟就完成了破解。但结论躲不开：GPT-4o的开发流程里，没有一次像样的常规安全努力。团队的判断是这个模型的能力不算危险，于是没打算多花心思。

发布风格的变化也在同一方向上。ChatGPT当年上线，名字起得干巴巴，功能摆出来让大家随便试，不吹。GPT-4也差不多。到GPT-4o，OpenAI开始预热造势，渲染“惊艳的能力”。发布当天还把大量用户搞糊涂了，很多人根本不知道自己用上的是不是新模型。第二天，Altman在推特上嘲讽Google I/O发布会的“氛围”不如自家，对Google实际发布了什么、产品孰优孰劣，一个字没提。

Zvi对比了三个阶段的OpenAI：早期是“东西在这，你们随便玩”，如今是一台宣传机器。他承认OpenAI做过好事，准备框架像样，也招过一批靠谱的人，但经过这一周，这家公司在安全议题上的信用基本归零。

把这一切合起来，就是Zvi这期节目最明确的判断：在看到相反证据之前，默认OpenAI就是一家彻头彻尾的盈利公司，move fast and break things，内部文化对“担心安全”这件事不友好。他还留了一道概率题：GPT-5发布时大概率不会带来生存灾难，可“大概率”值几个9？他最多敢放一个9，也就是90%。谁要放两个9以上，用他的话说，那是疯了。

这个判断直接影响选型。Zvi说，有得选的话，深度使用OpenAI的产品，等于承担一份具体的风险，包括日常安全层面。Anthropic那种员工普遍在意安全的文化，此时显得更有分量。Google在光谱哪个位置，各人自己判断。他补了一句：这个房间里没有天使，谁都不值得无条件信任，但有档次之分。

Schulman接盘：一场让人心里没底的访谈

人事安排上，Leike和Ilya走后，常规安全和对齐的大盘子归John Schulman。他此前负责模型的后训练（post-training），也就是让模型变得好用、听话的那道工序。Nathan提醒听众去看Dwarkesh Patel本周对Schulman的访谈，几个细节值得逐条记下：

• Schulman预计AGI在2到3年内到来。被问会不会明年就来，他说“那会让我吃惊”，但2到3年这个区间，他愿意签字。
• 被问到AGI真来了怎么办、社会怎么承接，他多次承认现在没有可靠的计划，希望到时能和其他头部开发者合作。
• Dwarkesh当场直言，你描述的听起来不像一个足够稳的计划。

Zvi的反应分两层。第一层，把对齐希望全押在后训练上，基本是空想。Leike本人在80,000 Hours的播客里讲过RLHF为什么解决不了对齐问题，两人还在线下聊过，Zvi试图说服Leike他的方案行不通，没成功。他也承认，自己当时论证得不够扎实，Leike不接受情有可原。

第二层，Zvi给了一句公道话。没人知道怎么解决这些问题，所以不能因为方案看起来不行就骂人。试一下，学一点，换条路再试，这是目前唯一可行的姿势。Ilya出名的地方恰恰是这种劲头：不成就换方法，推翻自己所有的预设也要做成。Zvi原本相信，给Ilya和Leike足够的资源和时间，他们至少能排除几条死路，为下一次尝试留出地图。现在的问题是，连“试”的资源都没给够。

至于Schulman，Zvi留了余地：如果他上任第一天就说“我们没有计划，不知道怎么对齐，不知道社会怎么承接，得从头学起”，这是一个能干的人能给出的第二好的答案。最好的答案当然是有靠谱计划。麻烦在于，他过去做的后训练，和他现在要解决的超级对齐问题，基本是两回事。

监管补位与一个叫“智子”的希望

Nathan提到，本周真有人把自己拴在了OpenAI门口的栅栏上。玩笑归玩笑，问题是真的：公司自觉靠不住，就得有外部机制。节目后半段聊到加州的SB 1047法案，起草人是州参议员Scott Wiener。Zvi当时写分析时专门找法案“过强”的地方，还真找到一处硬伤：衍生模型的责任定义有漏洞，按字面理解，上游可以把责任甩给下游，下游也能借道绕开所有安全承诺，必须修。

但法案的核心逻辑，Zvi是认的：你把正在做的事说清楚，说谎要担责；发现房间里有灾难性风险，要有能力把模型关掉。法案里还有吹哨人条款。对照OpenAI的封口协议看这条，讽刺拉满：如果法律不允许你吹哨，或者吹哨的代价是几百万美元的股权被没收，条款等于摆设。Zvi的立场更进一步，AI公司就不该被允许签终身禁止贬损条款，至少涉及安全的部分不行。

第三方测试是另一个绕不开的话题。Zvi分析Anthropic的负责任扩展政策和OpenAI的准备框架时反复强调：这类政策好不好，全看执行的人是不是真在乎。如果测试方就是被测方，模型可以对着题库练，把被测的攻击面单独加固，其他地方照旧，就像学生提前拿到了考卷。连英国AI安全研究所都拿不到足够的模型访问权限，自查自报的可信度可想而知。除非深度信任一家公司的安全文化，否则第三方测试是必需品。经过这一周，这份信任还剩多少，值得每个人自己掂量。

节目末尾，Zvi给了一个他最近最感兴趣、却没什么人讨论的方向。一个中国团队提出了一项名为“智子”（Sophon）的技术，名字取自《三体》里三体人锁死人类基础物理的那种粒子。思路是把开源模型在指定主题上锁进一个局部最优，普通微调教不会它相关内容；更进一步，可以专门训练模型“装傻”，像有些人学数学那样，怎么教都学不进去。做到位的话，就能发布一个怎么微调都学不会生物武器知识的开源模型。

Zvi的评价：这是他见到的第一个理论上可能把“改造通用模型”的成本从近乎零抬高到需要真功夫的方案。局限也明显：得先枚举出所有要封锁的主题，而且只对已知威胁有效，等模型比你聪明，它想出的招不在清单上。科幻里的反派总说“只要你们不做这几件事就行”，然后有人找到清单之外的一招，反派选择无视。正确反应是：不知道那是什么，就先停手查清楚。

明天就能用上的四件事

节目快结束时聊了点轻松的。Nathan提了个电影企划：《社交网络》混《魔戒》，主角是位Altman式的天才，被权力之戒慢慢腐蚀。Zvi说他更想看另一种：没有反派，没有蠢货，每个决定局部看都合理，事情就是一步步失控。被问到模拟假说，他的态度也一贯：就算这真是模拟，正确策略也是把它当真的过。他当晚的安排是去麦迪逊广场花园，和四万名尼克斯球迷一起看大屏幕上的季后赛第六场，球队人还在印第安纳。该战斗战斗，该看球看球。

顺带他把“doomer”这个词掰正了：真正的doomer是认为做什么都没用的人。如果你觉得自己的行动能改变结果，哪怕只是把胜率从34.007%推到34.008%，你就不算doomer。

落到行动上，这期节目给普通读者留了四件明天就能做的事：

• 再看OpenAI的公告，先找数字和人头：算力批了多少，安全团队进了几个人。Altman说过“我们有很多工作要做”，接下来几周，他要么拿出新的人和承诺，要么就把这句话当没说过。
• 选模型时把安全文化当一条硬指标。同一类应用，Claude值得放进对比清单。这既是产品选择，也是用手里的用量投票。
• 关注加州SB 1047这类法案的进展，尤其是禁止AI公司用终身禁止贬损条款捆绑股权的具体条款。吹哨机制能不能用，决定你能不能听到真话。
• 心态上给自己松绑：觉得事情严重，和觉得自己无能为力，是两回事。把胜率挪动0.001%的事，每天都有一件。

Zvi在节目最后说，这批离开的人是顶尖人才，总有人会把他们接住，或者他们会自己干出一番事。风波的下一幕，看Altman怎么写。