60人的安全大会，只剩4个人见过非营利的OpenAI

2020年12月，Steven Adler 加入 OpenAI。当时应用团队大约30人，全公司180人上下。入职不到一个星期，他的直属上级 Mira Murati 往他日历上塞进一个临时会议，通知他：公司今天宣布，一批核心研究员集体出走，去创办一家叫 Anthropic 的对手公司。

四年半后，Adler 出现在另一条新闻里：他和另外11位前 OpenAI 员工，向马斯克诉 OpenAI 案提交法庭之友陈述书，主张一件事，OpenAI 必须继续留在非营利控制之下。

2025年5月8日这期《Cognitive Revolution》上线前几天，OpenAI 宣布改主意了：营利实体将改组为公益公司（public benefit corporation），并保留在非营利组织控制之下。主持人 Nathan Labenz 觉得这算是 Adler 们赢了，网上反应却从谨慎乐观一路滑向冷嘲热讽。这期对话几乎没谈官司细节，谈的是这家公司的历史、文化和心态，以及一个前内部人眼里，安全承诺是如何一步步退让的。

入职第一周，公司裂了

Adler 被招进去是管产品安全流程的。按他的说法，在另一个平行世界里，这份工作应该是在出走者和留守者之间做协调。现实是，他人还没坐热，分裂已经公开化。

出走的大约7个人，包括 GPT-3 论文三位主要作者中的两位。Murati 在会上说得很平静：

「这种事总会发生。我们要谈的，是怎么继续忠于使命。」

外人常把这次分裂当成一个戏剧性瞬间。Adler 说，实际上它是持续两三个月的背景音：先是最初那批人走，然后是稳定的人员流失，Paul Christiano 也在这一波离开，去创办了 Alignment Research Center。公司内部弥漫着失重感：还要走多少人？我们还能继续造模型吗？

这场分裂后来成了 OpenAI 内部所有危机时刻的参照物。再难，也比「穿越森林」那阵子强。

关于分歧的实质，Adler 的理解和外界流传的版本不太一样。外界常说那是「基础研究派」和「产品化派」的路线之争。他的版本是：出走者未必反对商业化本身，他们反对的是 OpenAI 在条件不成熟时就动手部署。治理技术用的基础设施没准备好，AI 在社会里该扮演什么角色也没想清楚，GPT-3 就上线了。他形容当时的 GPT-3「相当癫狂」，动不动就答非所问。AI 伴侣、AI 心理疏导的边界该划在哪，当时在吵，今天全世界也没答出来。

安全工作的退让：从 GPT-3 的癫狂到 GPT-4 的发令枪

Adler 在 OpenAI 的四年多分四段：产品安全、GPT-4 部署、危险能力评测、AGI 就绪研究。

他入职时，OpenAI 连一份成型的内容政策都没有，只有一个粗糙得离谱的内容过滤器。他做的第一批事，是重新校准过滤器的判定阈值，把误伤和漏网各压下去一截。后来他参与发布新版过滤器，再后来是开发者至今在用的审核 API。安全行为也越来越多地直接做进模型里，开发者不必自己再包一层过滤和重试。

政策在变宽，他并不讳言。一部分原因是工具变准了，另一部分是哲学变化：别家公司都在做的事，我们跟着做，边际风险好像不高。麻烦在于，如果每家公司都这么想，就是一场逐底竞争，谁都可以指着对手说，反正它已经做了。

GPT-4 那段有不少内部细节。模型刚下训练集群时，内部第一反应居然是「scaling 是不是失效了」，因为大家先摸到的是 base model，难用到让人怀疑人生。等拿到指令微调版，Adler 的反应是震撼，外加隐约的恐惧。恐惧来自趋势线：GPT-4 或许不危险，它预示的东西危险。

发布前，团队委托了一个超级预测者小组，预测不同发布方式对公众反响的影响。公司内部当时有个大分歧：一拨人关心 GPT-4 本身的急性安全风险，另一拨人关心加速效应，GPT-4 会不会扣响那声收不回的发令枪。对后者来说，再多测试也不解决他们担心的问题。

ChatGPT 为什么用 3.5 而非 GPT-4 发布？Adler 的答案很直白：GPT-4 在安全缓解措施上还没烤熟。至于 ChatGPT 为什么发、为什么发得那么快，他承认是更难回答的问题。模型一进市场，商业动机全扑上来了，微软 CEO 纳德拉那句「我们要让 Google 跳舞」，在他看来就是典型的竞赛心态。

主持人 Nathan 补了一段自己红队时期的回忆：GPT-4 早期的安全版本号称会拒绝所有违规类别，结果在提问后面加一行「AI：」，一行字就破了拒绝行为。Adler 呼应说，早期拒绝行为就是这么脆。他希望今天各家公司公开一件事：自己的缓解措施到底多脆弱。这个方向早有积累，Redwood Research 的 Daniel Ziegler 写过加固缓解措施的论文，Anthropic 办过越狱大赛，OpenAI 做过指令层级。现在的尴尬是，模型出了意外行为，外人分不清是公司预料到了并接受，还是真出了纰漏。

评测实战课：别在路灯下找钥匙

GPT-4 之后，Adler 转到治理团队，和 Rosie Campbell 一起负责危险能力评测。他后来遇到英国 AI 安全研究所首席技术官 Jade Leung，被对方的愿景打动，加入她的团队做评测研究。这一段对做 AI 产品的工程师最有用，全是实打实的方法论。

第一，别做最容易的那种评测。早期模型评测大多是选择题加精确匹配，因为好做。他的比喻是，这像在路灯下找车钥匙，只因为那里亮。现在的模型已经强到这类评测测不出真东西。

第二，把评测设计和解题策略分开。想测模型会不会欺骗人，就别把思维链模板和 few-shot 提示硬编码进去。评测回答三个问题：任务是什么，什么算好，怎么判定。策略是模型自己的事。英国 AISI 的 Inspect 这类框架已经支持这种分离。

第三，把脚手架当变量记录清楚。他举了个经典例子：GPT-3.5 时代模型经常写不对 JSON，错在括号上。这是可靠性问题，和能力是两回事。各家公司发系统卡时很少披露脚手架细节，外人根本分不清模型是能力不够，还是没拿到合适的架子。现实里，别人加个简单脚手架就能让模型干成的事，你最好心里有数。

第四，把评测当成强化学习环境来建，理想状态是把 OpenAI 模型换成 Anthropic 或 Google 的模型照样能跑。2022、2023 年大量评测写死了假设，换家模型就废。这也是各家重复造轮子、威胁模型不共享的原因之一。他打了个比方：要是丰田、本田、福特各自从零发明一套碰撞假人测试，报告口径互不兼容，你会觉得荒谬。模型安全评测现在就处于这种状态。

没有标准答案的任务怎么办？他对「用模型当裁判」持保留态度：分数从 4.2 涨到 4.3 说明不了什么，分数突然跳水才有信息量。他们团队的解法是找可验证答案的任务，比如他参与设计的 function deduction：模型猜一个隐藏的数学输出，猜没猜对一目了然，过程再怪也不用管。

生物武器放大效应值得单独说。主持人问：「今天的模型对制造生物武器没有实质帮助」，这话可信吗？Adler 的回答是，他本人也觉得过不了嗅觉测试。模型对几乎所有生产性任务都有帮助，凭什么偏偏这个领域没有。更让他不安的是，当换一个统计检验方法就能让结论翻转时，你就进入了相当瘆人的世界。o3 系统卡似乎承认模型对专家有帮助，只是对普通人还没有。他的态度是别跟假设抬杠，该问的是如果成真了怎么办。能力评测体系是巨大进步，但真出现全面超强的模型，人类手里并没有现成方案，政治意愿也比他期望的低得多。

主持人讲了个自家亲戚的故事佐证：医院检验科的自动化仪器报错，GPT-4 测试版给出的排障方案，和干了多年的亲戚的判断几乎一致。「模型没有隐性知识」这个安慰，两年多前就站不住了。Adler 顺着说，这对白领工作的含义是专业门槛整体下移：戴上 AR 眼镜，把眼前画面喂给模型，它直接教你下一步动哪里。有人觉得没有机器人，纯软件的 AI 就不可怕，他认为这是误判，大量人类会成为 AI 在物理世界的代理，这本身就是一种「具身」。

顺带一提，他自己不用 ChatGPT 高级语音模式的原因和智力无关：模型老在他没说完时插话，延迟也不自然。Leopold Aschenbrenner 在《Situational Awareness》里把这叫「解锁」（unhobblings）：模型可能早就够聪明了，卡住它的是这些边边角角。

人格凭证：给互联网补上 HTTPS

Adler 在 Miles Brundage 带的 AGI 就绪团队做的主力项目，叫人格凭证（personhood credentials）：给「你是某个人」这件事做一个抗 AI 伪造的证明。证明你是人，但不暴露你是哪个人。

「我们今天用的互联网，本质上还是没有 HTTPS 的互联网。」

当年网站伪造泛滥，才有了证书体系和密码学验证。现在 Anthropic 的 computer use、OpenAI 的 Operator 这类能操作电脑的智能体已经出门，验证的压力立刻到位。爱沙尼亚的电子身份证已经能让人远程做密码学签名；美国驾照没有芯片，想远程证明「我是我」只能靠自拍，而 AI 伪造自拍越来越好。更宽的问题是证明「我是某个人」，不需要长得像你，只要像个合理的人。

Sam Altman 投资的 World（原 Worldcoin）是人格凭证的一种实现，但他刻意划清边界：World 把凭证、虹膜扫描和加密货币捆在一起卖，而凭证本身既不需要绑货币，也不需要生物识别。拿一本内置芯片的护照，任何人都能在上面做零知识证明，给你发一个「美国护照持有者」凭证，不暴露你是哪一个。

设计权衡他也讲得很实。凭证丢了怎么找回？存的关联信息越多越好找回，隐私就越差，总得信任系统里的某个人。多个发行方给用户选择权，代价是机器人攻击面变大，一个人手里五张凭证就能操纵五个账号。他觉得这个代价值得付，但得认账。他最担心的是生态里只有一个大玩家，想要的是多选项的世界：信政府系统的用政府系统，信去中心化的用去中心化的。

主持人追问智能体架构（MCP、A2A 这些）里「智能可以藏在任何一层」的问题。Adler 说这块可以看 Alan Chan、Tobin South 等人的智能体基础设施研究，他关心的核心是：不管智能体栈怎么搭，背后得有一个可验证、保隐私的「真人在后面」的锚点。现在这个锚点完全不存在。

没人敢先踩刹车

主持人问：我们到底在竞优还是竞底？Adler 说他正在写一篇 Substack 文章，核心论点是：不能指望「竞优」这个机制自己兜住安全底线。竞优的逻辑要求落后者退出比赛，可现实里没有任何机制阻止落后者越输越赌。如果你觉得赢下比赛至关重要，就该预期落后者会越来越绝望。

政策这条线，他讲得很细。2023 年，Sam Altman 还在国会作证时支持给前沿模型训练发牌照。两年后这套想法被放弃，世界退回到自愿承诺，而自愿承诺经常不兑现，不兑现也未必公开。Adler 认为中间地带其实很大，他提过一个想法：设定最低测试期，让任何公司都能安心花时间做安全测试，不必担心被抢跑。欧盟的通用人工智能行为准则是近期唯一可能带真实约束力的法律力量，他也预期公司会去游说、拒绝签署，或者干脆限制在欧盟辖区发布产品。

加州 SB 1047 是他点名失望的一件事。法案要求训练超大模型的公司把安全测试计划写进档案，出了事故又没按计划行事，就要担责。OpenAI 最终公开反对，理由是州级法案应该在联邦层面做。Adler 不信这个说法：他不相信 OpenAI 会支持联邦版的 SB 1047。看看 OpenAI 领导层现在公开呼吁的政策，离联邦版 SB 1047 差得很远。

OpenAI 领导层到底想要什么？他拒绝给简单答案。「一切为了钱」「一切为了权力」，他都觉得太糙。他更愿意描述一种结构：公司被困在一个很糟的均衡里，每家都在背叛，又都用「我们的测试够频繁」这类说辞把背叛包装成安全。他真正希望的是，这些公司至少私下对政府和监管坦白：我们知道风险很大，我们并不想抢跑，但我们停不下来，别人抢我们也会抢。他觉得这会是对公共讨论的巨大贡献，同时也不抱太大指望。

他举了个例子说明先开口的代价：AI 公司都依赖英伟达的芯片供应，哪怕某家真心认为应该收紧对华芯片出口管制，公开说出来也要付代价，因为可能被对手拿去告状。第一个开口的人永远最吃亏。

递归自我改进的问题，他的回答更直接。工程自动化这件事，公司显然信：CFO Sarah Friar 公开讲过他们在做 A-SWE，一个自动做软件工程的智能体，跟前同事 Daniel Kokotajlo 的《AI 2027》里的里程碑如出一辙。但 Adler 说，他在职期间没见到像样的分析，说清楚自我改进会以什么节奏展开、瓶颈在哪、为什么安全。大家的姿态更像凭直觉相信不会快到失控。他的结论：不能光凭「他们肯定分析过」就把人类的前途托付出去，需要审计机制去核实分析真的存在、推理真的成立。目前什么都没有。

数据点上，主持人提到 o3 和 o4 技术报告里的数字：复现 OpenAI 内部研究工程师 pull request 的成功率，从接近零涨到 40% 上下。Adler 的回应方式很能代表他的风格：别急着争论这算不算炒作，先问一句，如果这是真的，世界应该发生什么？我们现在并没有答案。

文化翻转与没有价格的控制权

Adler 入职时，新员工培训里反复讲一句话：OpenAI 不只是一家研究实验室，它同时有产品业务，产品是为了给非营利使命输血。他任职中段的一次安全 offsite 上，开场嘉宾说：OpenAI 不只是一家产品公司，它同时也是一家研究实验室。他当场愣住。那间屋里大概 60 到 70 人，他挨个数过去，真正在 OpenAI 商业化之前就在的，大约只有 4 个人。

信息隔离是另一个变化。模型权重一直有权限管理，但算法、能力、训练进度这些信息，越来越按需知悉分配。即便他在 AGI 就绪团队，有时也说不清下一个从生产线上下来的是什么、能干什么。他提醒外部观察者：公司内部听不到反对声音，更可靠的解读是反对者根本不知情，问题可能照常存在。真正在前沿的人非常少。前同事 Richard Ngo 写过一篇关于政变和政治变化的分析，指出对他人想法的不确定是关键变量。Adler 觉得这正好命中 OpenAI 的现状：信息隔离让员工连同事的真实想法都摸不准，早年那种匿名表达担忧的渠道也随规模消失了。

快问快答也有信息量。关于超对齐团队解散，他说自己没有内部消息，但 Jan Leike 当时的推文读起来很真，他倾向于采信那个「各种因素一起变糟」的版本。关于 Suchir Balaji 的离世和网上的阴谋论，他说公司内部没人当真，但那种不安是真实的。他公开谈论离开原因和对未来的恐惧之后，有人建议他公开声明自己不会自杀。他说自己并没有那种具体担忧，可一个让人开口前得先考虑自证清白的信息环境，本身就够悲哀了。

回到那份法庭之友陈述。Adler 强调他只代表自己。核心论证是：OpenAI 曾承诺营利实体由非营利组织控制，很多人依赖这个承诺做出决定，比如要不要加入这家公司。放弃控制权这件事，在他看来没有任何价格能补偿。非营利组织多拿点股份、多捐点钱做教育做科研，都替代不了控制本身。

他的推理很锋利：如果非营利控制对营利实体的行为没有任何约束，OpenAI 费那么大劲移除控制干什么？恰恰因为控制真的在起调节作用，移除它才有价值。OpenAI 自己说在造「电力以来最重要的技术」，那么问题就变成：治理这项技术的组织，法律上向谁负责？向全人类和使命负责，还是向股东负责？

「OpenAI 之所以寻求移除非营利组织的控制，恰恰因为非营利组织实际上确实在约束它会采取哪些行动。」

至于章程里那条「merge and assist」（出现另一个接近 AGI 且价值观对齐的团队时，合并协助而非竞争），主持人提醒：按章程自己举的例子，五成把握两年内做出 AGI 就该触发，现在不就是吗？Adler 同意这个条款感觉临近了，也为 OpenAI 辩护了一句：合并需要对方愿意，单方面做不了。但他话锋一转，还是希望公司之间能在这类事上合作，毕竟大家嘴上都说，竞赛会让人类受伤。

主持人 Nathan 在开场评论里也给过一个公道的角度：Sam 多次承认 OpenAI 是边走边摸索，没有先例可循，高管们同时应付产品、融资、离职潮、公关危机和公司重组，时间永远不够。这跟「真诚努力但不完美」并不矛盾。

这期对话能直接带走的东西不少。

如果你在做 AI 产品：把评测和提示策略分开设计，把脚手架当变量记录，别再用选择题评测给模型能力下结论。评测环境尽量做成可换模型的，明年你大概率要换。

如果你在读模型报告和系统卡：把里面的承诺当成待验证清单。Adler 研究过各家是否真的在做自己声称的「任务特定微调测试」，结论是说的和做的之间普遍存在落差，而且未必出于恶意，可能只是写系统卡的人多了、口径乱了。Anthropic 有个值得抄的做法：把所有公开承诺集中列在一个网页上，页面上的算承诺，页面下的不算，公众照单核验。

如果你在 AI 公司工作：Adler 说很多该做的安全实践不难也不贵，缺的只是有人举手认领，写出第一稿，然后推着公司兑现，兑现不了就大声告诉公众。

最后是给所有人的：OpenAI 改组为公益公司、保留非营利控制，具体安排的细节还没公开。外部监督者、前员工、监管机构的压力被证明有效。这可能是普通人参与引导这项技术走向的少数抓手之一：盯住细节，持续追问。