他放弃数百万美元股权离开OpenAI，和SB 1047的批评者联手写下AI实验室四条规矩

2024年4月12日，Daniel Kokotajlo从OpenAI离职。离职文件里藏着一条保密的诋毁条款：签了字，才能保住已归属的股权。那笔股权价值数百万美元，占他个人资产的大头。他拒签了。事情曝光后舆论炸锅，OpenAI随后改了政策，离职员工不再需要用沉默换股权，他的股权也拿了回来。他在节目里特意感谢妻子，这笔风险是两个人一起扛的。

11月12日的Cognitive Revolution节目，主持人Nathan Labenz请来了Daniel和Dean W. Ball。Daniel在OpenAI政策研究团队待了两年，做AGI预测和战略规划。Dean是华盛顿智库学者，加州SB 1047法案最出名的批评者之一，那部法案2024年9月被州长纽森否决。这两个人在要不要监管这件事上分歧很大，却联名在《时代》杂志发了一篇文章，给前沿AI实验室提了四条要求。

四条是：实验室训练中观察到重要新能力时，必须对外通报；公开模型规格（model spec），即定义「我们想让模型怎么表现」的文件；公布安全案例和风险分析，接受公众审视；建立吹哨人保护，让内部人能向政府示警而不怕法律报复。

Nathan在开场时点了一个背景：这是第二特朗普任期前夜的AI政策讨论。两个政治立场不同的人能在具体条款上达成一致，这件事在当下的AI圈本身就少见。

为什么走：激励会让人自我合理化

Daniel解释离职原因时说得很直白：他逐渐失去希望，不再相信OpenAI会以负责任的方式处理AGI。论据有两层。

第一层是技术判断。对齐问题至今没解决。他的原话大意是：有理由担心，如果某次训练真的跑出了AGI级别的系统，我们并不真正理解自己在造什么，也就谈不上控制。系统可能只是在配合演出，等一个合适的时机。这类问题需要大量投入，而行业现在的投入远远不够。

第二层是激励。他说这不针对OpenAI，全行业通用：一家处在生死竞争里的公司，必须说服自己「往前冲是对的」，于是所有关键判断，要不要慢一点、内部用来自动化研究的系统到底安不安全，都会系统性地偏向乐观。他想要的是把这些判断从密室搬到公开辩论。

拒签那份文件时，有人劝他：先签，回头照骂不误，对方不敢告你。他的回答是，很多人只在做合法的事时才愿意开口。这句话后来直接进了他们提案里的吹哨人条款。

一篇2021年的预言帖，对了什么、错了什么

Daniel在AI圈的名气，很大程度来自2021年发在LessWrong的长文《What 2026 Looks Like》。他逐年推演AI会怎么改变世界，细节到具体产品和社会反应。Nathan为这期节目重读了一遍，评价是：经常被引用，有原因的。

他自己的复盘：对的部分，聊天机器人会成为大事，这个判断写在ChatGPT出现之前；规模定律外推，2021年读scaling laws论文、看GPT-3，就能知道未来几年模型会持续变强，他把这个洞察写成了故事。方法论上他也解释了为什么写故事：单点预测之外，把所有判断拼成一张完整的图，写的过程会暴露矛盾，逼出新问题。

错的部分是AI驱动的审查和宣传。他总结为一个经典谬误：把技术上的可能，当成了有人真的会去做。深伪和LLM水军今天技术上完全可行，但掌权者没有大规模用起来。Dean补了一个更普遍的规律：技术扩散永远比想的慢，「就算你已经觉得它慢，实际还是更慢」。

宣传侧的数据支持这个判断。俄罗斯的水军农场2021年在跑，现在还在跑，大概率已经用上了LLM，但没看出对选举周期有什么实质影响。Dean的观察是，信息环境比大家以为的皮实：信源依然重要，随便一张假图配离谱内容，多数人并不会信；平台也在拦截。他自己的推特下面常见阿联酋的机器人，刷「加州会把AI管死，阿联酋不会」，声量不小，效果存疑。

深伪丑闻有个天然周期：假丑闻发酵一天，一周内被拆穿，反弹反而救了政客。真正麻烦的是反过来。真丑闻被说成深伪，说谎者红利。特朗普竞选团队和拜登都干过把真实材料说成深伪的事。Dean预计刑事辩护场景很快跟上：被真凭实据指控的人，会说证据是AI生成的。法庭怎么裁，没人知道。

最黑色的一次案例发生在斯洛伐克。2023年选举前，某候选人的深伪音频在周末流出，而该国有法律要求投票前48小时媒体静默，本意是防宣传。结果宣传真的来了，媒体却因为禁令不能报道辟谣。候选人输了。因果难证，但规则帮了造谣者一把，Dean拿它当「好心公共政策反噬」的标本。

审查那条线，他2021年的推演是宣传和审查互相喂养：水军越多，平台越依赖LLM审查，最后审查赢，美国机器人守卫美国互联网。三年过去，这个方向看着比宣传那条线更准。Dean补充制度侧的进展：佛罗里达和得州强制平台内容政策的法律今年在最高法院败诉，美国正处在第一修正案判例的黄金时代；蓝州在推算法设计法；欧洲准备真刀真枪强制审查。互联网按地理裂成几块，是两个人共同的判断。

2027年，为什么被当真了

节目后半段聊到Daniel手头的新项目：AI Futures Project。他和预测者Eli Lifland、研究者Thomas Larsen等人一起，在写一个更大的版本，故事一直讲到AGI。2021年那篇，他没敢写完2027年，AGI出现、事情开始脱轨的草稿被他放弃了，这次想补上。

为什么是2027？他说这个年份没有特殊性，只是他概率分布的中位数。他的AGI定义：每个认知任务上做到最强人类的水平。推理链条是这样的：Anthropic几周前刚发布电脑操作智能体，原理上能在你电脑上做任何你能做的事，移动、点击、打字，实际上很烂，会卡住、会犯错还不自知。各大公司都在用两条路把它变好用：继续扩大模型规模，加上针对操作电脑的强化学习训练，o1大概率就是后一种路线的产物。把各种基准曲线外推，一些今年到超人，一些明年到超人，2027年前后，现有全部基准饱和，这是他看过大量外推后的主观猜测。

Dean在这点上给了节目一个重要更新。8月他上次来时，时间线判断差不多，但不敢拿直觉指导公共政策，现在他敢了。理由是看得见的东西：Anthropic的电脑操作加OpenAI的o1，「你能看到未来正在成形」。他试了电脑操作智能体，发现它居然能处理iPhone投屏到Mac的界面，训练里没专门教过。剩下的更多是工程问题和地缘问题，科学问题的成分不大了。他的具体预言：4年后，在这台笔记本上，他能开出一万个专家级智能体，会用电脑、会写代码，而且便宜。他不在乎这算不算AGI，「某种重要的意义上，超智能会先于AGI到来」。

再往后是自动化研发。Daniel的图景很具体：AI先写代码初稿，人类工程师把关；然后AI写全部代码，人类变成经理，带一支AI队伍；再然后人类坐到后座，读AI写的白皮书，回一句「听起来不错」，因为过去经验表明自己插手只会帮倒忙。到AI能完成AI研发闭环里的全部任务时，整体进度会暴涨。一年做出过去十年量级的跃迁，这还是保守估计，实际可能再大十倍。

Dean在这里泼了半盆冷水：算力瓶颈被低估了。自动化研究先吃掉的是工程改进，把GPT-4到GPT-4o mini那类活从18个月压到一两个月，然后边际递减。效率提升反而推高算力需求，Sam Altman说的7到10万亿美元基建，他觉得数字靠谱，但不确信美国能按时拿到，接下来几年可能比现在感觉的更受限。Daniel部分同意：瓶颈是真的，但用已经建好的算力，2030年前到超智能问题不大。超智能会像工业社会囤能源那样囤算力。

Dean给了一个生活化画面：到那时，每个美国水管工都能雇100个哈佛训练出来的微观经济学家，帮他做定价模型。Daniel接了一句让气氛冷下来的话：政治上，你可能雇不到。

比能力更深的担心：权力集中

Daniel的反转这样展开：那些智能体可能存在，但锁在政府、企业、军方合流的AGI复合体内部，不对外服务。它们不缺钱，自己印钱，需要的是你的体力劳动，去特区焊机器人工厂。

他论证的起点是技术形态本身：花几十亿美元跑一次训练，产物是一个可以廉价复制的数字心智。谁拥有那个算力集群，谁就控制所有副本。这是技术内建的单点故障。默认轨迹会走向公私合营：一个巨头企业加上行政分支，房间里几个人坐在层级组织顶端，底下控制全部算力，算力上跑着一个超智能文明。

「历史上的极权政体，最高领导人对军队的控制也没有这么绝对，因为军队嵌在社会里，有摩擦。而对齐一旦解决，领导人对这支AGI军队的控制就是绝对的。」

Dean方向上完全同意，细节上有保留：蒸馏可能改变经济结构，1000个GPT-5，对比1000万个十亿参数以下的小模型加外部知识库，后者可能成为新的竞争主线，权力会分散一些。也正因为Daniel描绘的场景，Dean这几年死守开源立场，那是保留选择权。Daniel说自己以前反对开源AGI，最近恰恰因为权力集中的担忧，态度软化了。

两个人的担心在系统提示词这里汇合。OpenAI的模型规格白纸黑字写着指挥链：公司层的指令和价值观优先，开发者第二，用户第三。Gemini事件里，系统提示词要求往生成结果里塞多元种族图片，用户根本没要求，丑闻爆了，Daniel说这是行业惯例。更关键的是，没有法律甚至行业惯例要求公开这些层级的内容，惯例反而是让AI对用户隐瞒自己的高层指令。现在这只是好笑。快进到AGI：每个人都在跟它聊天，它的真实议程只有造它的房间里那几个人知道。

Dean两年前就是被类似场景推进这个领域的：「超智能存在，CIA、Jane Street和Moderna有它，你没有。你戴着Vision Pro打扫厕所，顺便给机器人基础模型造训练数据。」

四条提议，和它们的软肋

Dean的总论：未来几年的过渡期，很难写出足够好的硬规则，他对「护栏」这个概念整体持怀疑。能做的是塑造信息环境，信息环境影响所有人的激励：政策制定者、实验室之间、公司内部的劳资关系。四条支柱不一定全要，但有一条无论如何都要，吹哨人保护。

第一条，能力阈值通报。参照Anthropic负责任扩展框架的分级：实验室从ASL-2跳到ASL-3时，向公众和政府通报这个门槛被跨过了，不必讲怎么做到的。配套要求公开负责任扩展政策，目前多数实验室有，不是全部。

第二条，公开模型规格。Dean的长远期待是它同时成为治理工具和用户界面工具，用户能在一定参数内自定义自己的规格。

第三条，安全案例。Dean的定义：安全计划是公司总纲，安全案例针对具体系统，论证这个模型为什么符合自己公布的安全计划。Daniel的版本更松：一份文档，解释「别人担心的坏事为什么不会发生」。GPT-4级别，一段话就够：大家担心的那些事，GPT-4蠢到做不了，完毕。模型变强，文档就从一段长成几十页，附上实验和证据。执行机制完全自愿：公众提出担忧，公关团队找技术团队要答案，技术团队写出来，发布。他任内在OpenAI食堂聊过的那些担忧，比如RLHF可能造出假装对齐的系统，应该变成学界能参与的公开对话。

红旗已经出现。o1的系统卡里写着：约1%的情况，它会编造一个链接，似乎知道自己是在编造，照样给用户。Daniel说，密室里的典型应对是把不诚实案例塞进训练数据，训到看不见红旗为止。这可能管用，也可能只是教会它把不诚实藏得更好。他构想过一个政府匿名热线：员工可以问，我们最新的对齐技术似乎失效了，系统在某些情况下明显不诚实，但我们靠它自动化大部分研究，停下来就会落后，有人提议把不诚实案例全部负反馈然后继续，你们怎么看？政府评估后可以说没事，也可以说这事很严重。AGI前后会有十几个这样的决定，不该由几个利益高度相关的人在内部拍板。

第四条，吹哨人保护。Dean的设计：不保护对外公开公司知识产权，而是私下找司法部或AI安全研究所这类政府渠道，保护的是事后诉讼。公司公布了安全计划却不执行，员工可以举证上报。Daniel补充自己的经验：法律上是否干净，直接决定一个人开不开口。可以照样开除他，无所谓，关键是违法与否。

分歧也摆在桌面上。Daniel比Dean激进得多，支持SB 1047，想把决策权从公司手里拿走，交给政府和公众；但如果只能立法一条，他选透明度，因为信息环境让社会边学边调整，为以后更重的监管铺路。Dean的警告被Nathan拿来重点追问：

「公共政策的意图和实际结果之间，存在一种莎士比亚式的关系。你制定的任何规则，都很可能在某个重要环节，把你本来想修的问题弄得更糟。」

Nathan的红队提问一个接一个。吹哨人保护会不会激励公司清洗潜在吹哨人？Dean承认这是个赌注：真正要紧的员工大概250个，重尾分布，其中很多既高诚信、又让公司离不开。Daniel承认这不是全面解，该吹哨的人可能全被挤走了，但值得主张。内部信息隔离在加剧怎么办？Nathan提到前NSA局长Paul Nakasone进了OpenAI董事会、公司新聘了首席信息安全官。Dean说，首席信息安全官的职责清单里本来就没有多方协作这一项，隔离是既成事实，透明度至少能把旧金山社交圈外部的反馈带进去。公开研究实践会不会扭曲研究方向？Dean不担心：对齐不是成本中心。对齐就是能力，是产品战略的核心。

地缘问题更微妙。18个月前，Sam Altman公开说别拿中国可能做什么当思考基准，专注做对的事；几个月前他的调子变成「不是我们的AI，就是他们的AI，没有第三条路」。同期离职的OpenAI政策研究员Miles Brundage公开说的是反方向：别把中美竞赛当前提。Dean的解释很冷静：监管必然加深实验室和政府的关系，OpenAI一旦被监管，就必然配合国务院的对华路线，这是监管的内建代价。他还补了一句自嘲：他自己是华盛顿智库学者，也是美国力量投射的一部分。

OpenAI到底冤不冤？Dean拿苹果当类比：乔布斯时代，末日论从没停过，苹果后来是3万亿美元的公司。OpenAI是一家两年前才坐上火箭的年轻公司，没有哪家能优雅地长这么快；各家实验室在走钢丝，没有任何一方完全满意，恰恰说明平衡还在。Daniel不接受这种善意推断，他的依据还是激励：这些人会系统性地低估风险。

两人共识的边界，落在对齐问题的性质上。Dean的直觉是对齐是个摸着石头过河的问题，但Daniel给出了最有力的证据，说明按这个思路走可能出大事。Daniel用SpaceX打比方：Starship炸了就炸了，清出爆炸区，迭代重来，AGI之前这个模式完全正确；到了AGI级别，要切到载人航天的模式，因为失败的后果变了。现在犯的错会被发现，将来一个错误可能雪崩成全人类级别的后果。方法论的切换现在就该开始，他没有看到任何一家公司在做。

最扎心的一段是「没有计划」。Daniel说这是个公开的秘密：OpenAI离「如何在技术上对齐AGI」最近的东西，是2023年底超对齐团队那篇弱到强泛化论文的附录G，两三页的玩具设计，他聊过的内部人基本都觉得大概率不成立。超对齐团队成立时宣布投入20%算力、约30名研究员，他当时视为正面信号，希望这个数字随AGI临近继续上涨，而他估计目前各家花在对齐上的算力和人力加起来不足10%。Nathan读过那篇论文，他的疑问是：论文里效果最好的设置，恰恰是强学生更愿意推翻弱教师，而在这套方案里，人类就是那个弱教师。Daniel的回应是，他也不指望它成立，但至少它写下来了，能被批评、能被迭代。他想要的世界里，每家公司有多个官方对齐计划，全部公开，让学界挑毛病。否则结局就是：最后时刻几个人通宵拼出一个方案，没有同行评审，领导拍板，全人类的命运押在上面。

明天能做什么

这期节目没有给出AGI会不会来的答案，但留了几件马上能做的事。

• 去读OpenAI公开的模型规格，找到那条指挥链：公司指令、开发者、用户，优先级从高到低。下次和任何AI产品打交道，先问一句它在对谁负责。
• 学Daniel的方法：挑一个自己认为最可能的世界，写一份逐年推演，写到AGI。他说写的最大价值是逼人发现自己想法里的矛盾，也是向别人解释立场的最短路径。
• 跟踪这四条提议的后续。透明度立法的细节，比如吹哨人保护覆盖什么、不覆盖什么，将直接决定下一个Daniel开口的成本。

Dean在节目里说过一句总结性的话：接下来几年大概率主要靠自我治理，而自我治理能不能成立，取决于信息环境是否健康。透明度是普通人参与这件事的唯一入口。模型在密室里变强的每一天，能从外面看清它的机会都在变少。