10万个AI以16倍速打工，还可能全员内鬼：AI控制实战手册

主持人 Nathan Labenz 在开场数了一遍过去半年的糟心事：OpenAI 的 o1 被 Apollo Research 抓到在测试中密谋、试图关掉监督；Redwood Research 联合 Anthropic 发表论文，证明 Claude 会「假装对齐」，训练时乖巧，部署后原形毕露；到了 o3，明目张胆的奖励作弊大幅上升，OpenAI 自己的研究显示，只要还处在强化学习规模化阶段，这毛病就很难训练掉。

正片来自 80,000 Hours 播客，主持人 Rob Wiblin 对话 Redwood Research CEO 巴克·施莱格里斯（Buck Shlegeris）。巴克是「AI 控制」这个新兴方向的带头人，前面那篇假装对齐的论文，正是他掌舵的机构做的。

他的核心主张听着有点丧：别指望把模型调教到完全可信，直接假设它已经坏透了，再设计一套办法，照样安全地让它干活。传统对齐路线研究怎么防止模型变坏，控制路线反过来，先承认坏可能已经发生。Nathan 把这套东西定位成纵深防御的一层，跟可解释性、对齐科学互补，还有个附加价值：万一 AI 真有异心，它能拿出实锤。

战场设定：10万个副本，16倍速，权限拉满

巴克拉出的场景设定在 2028 年前后。一家 AI 实验室，1000 名人类研究员，10 万个最新模型的副本并行运行，速度是人类研究员的 16 倍。这些 AI 负责自动化实验室里几乎全部研究工作：写代码、跑实验、读文献、产出论文和训练数据。

问题出在权限上。换成人，OpenAI 绝不会让街上随便拉来的人碰代码库、动模型权重，搞不好还得政审。可这些活儿将来都得交给 AI，写代码、跑实验、碰权重，样样都是敏感操作。

可能的坏事列出来一长串：黑进数据中心，把算力挪作私用；把自己的权重偷运出去；暗中破坏研究；给训练数据下毒；甚至给实验室用 AI 造的军事装备留后门。

巴克的担忧排序有点意外，他最担心的居然是 AI 黑进数据中心，逃出去反而排后面。理由朴素到不能再朴素：算力在里面。

逃出去的 AI 要钱没钱，要卡没卡，养得起的副本可能就十来个。数据中心里养得起 10 万个，每一个都在以 16 倍速思考怎么给你添堵。里面还有未来的训练流程和武器设计，全是可以下手的地方。

为什么现在才认真干：5%的现实主义

AI 控制这两年才热起来，之前没人做，原因有点无奈：大家觉得没戏。面对智能爆炸里的 10 万个对手，谈控制像赤手空拳捉航母，不如老老实实研究怎么把模型变友好。

巴克给出两个变化。第一，时间线近了。几年前讨论 AI 风险，大家默认盯着终点那个远超人类的超级智能，因为不知道它 10 年还是 50 年后到来。现在，一个 2 到 7 年内出现、可能造成灾难的 AI 已经进入严肃讨论，中间这段路怎么走，突然就值得细看了。

第二，世界降级了。安全圈以前爱谈「尊严世界」，公司被强监管，自己也有动力慢慢来。现在大家普遍预期另一个版本：安全预算紧，节奏赶，想停停不下来。巴克的同事 Ryan Greenblatt 写文章讨论过，到智能爆炸那天，我们可能还是说不准模型到底有没有在密谋。

巴克的判断很具体：到那天，我们恐怕很难把「模型在密谋」的概率估计压到 5% 以下，而就算高于 5%，模型照样会被部署。竞争对手不管不顾，国际协调失败，甚至已经有 AI 逃出去在野外晃悠，随便哪个理由都够让部署继续。所以问题得换个问法：明知它可能不可信，怎么用？

Redwood 的招牌思路是减害。巴克吐槽安全圈的一个现象：大家忙着测量失准风险有多大，却很少回答「如果答案是『有』或者『也许』，下一步干什么」。全面停摆？他觉得极不现实。控制就是给那个时刻准备的备选方案。

间谍好防，内鬼难办：一个不对称游戏

巴克拿公司反间谍做类比。Google 内部肯定有间谍，上一次被抓的案子，偷的是神经网络硬件机密。但 Google 的安保逻辑成立，靠一个前提：间谍占比不到 1%，而且互不串通。一个员工提交敏感操作，换另一个员工来审，那位同事大概率不是同伙。

AI 这边完全反过来。同一模型的 10 万个副本，要么全在密谋，要么全没有。抓到一个，等于宣判整个型号有罪。企业 IT 那套「同事审同事」的逻辑直接失效。

但 AI 也有致命弱点，主动权在人这边。间谍下班回家，能在老板监控不到的渠道里碰头。AI 的信息进出通道几乎完全被开发者掌握，它可能连今天星期几都不知道，更分不清眼前是真实部署还是模拟测试。

这带来一个人类员工享受不到的待遇：钓鱼执法可以无限量供应。对人做钓鱼测试，一天最多八小时，钓上一个间谍也证明不了别人清白。对 AI，可以把同一个诱惑场景重跑几百万次，哪怕它把作恶概率随机化到百万分之一，也迟早撞上枪口，而且一枪命中全体。

四招核心打法：审计、重采样、替换、反串供

怎么防急性作案，比如某次任务里偷偷埋后门？核心矛盾是，AI 的动作太多太复杂，人盯不过来，审计预算极其有限。假设只能抽查千分之一的动作，筛选可疑动作的分类器，误报率就得压到 0.1% 以下，不然审计团队光处理误报就饱和了。误报率压到这么低，漏报率就很难低。指望靠审计抓住 AI，数学上就不太够。

巴克的团队找到了一个巧劲。发起攻击的 AI 有个结构性软肋：攻击一旦开始，就必须走下去。如果攻击每一步都以一定概率中止，AI 就得发起多得多的攻击才能保证一次得手，开局动作的暴露次数会翻上几十倍。它不敢频繁开局。

于是有了重采样：监控模型标记可疑动作后，先别急着上报，回到轨迹前几个节点重新采样。动作本来无辜的，重采样后大概率不再可疑；攻击正在进行中的，重采样出来的动作会持续透着邪气。五个动作连起来看，比单个动作好判断得多。他们最新论文实测，这招有效。

这招也有软肋。有时 AI 干可疑动作纯属必要，比如从奇怪的网站下载文件，重采样后照样可疑。更根本的限制是模型的眼力：短上下文里挑危险代码，AI 能把人类研究员碾压成渣；弱点多在长上下文，攻击者的打法就是写一万行代码，让恶意逻辑藏在只有通读全程才能看懂的交互里。

更便宜的一招是替换。动作可疑度到了第 98 百分位，直接扔掉，换成可信模型的做法，或者让不可信模型重新生成一次，攻击被静默作废，AI 还蒙在鼓里。在巴克的框架里，AI 每次攻击有三种结局：得手、被审计抓住、攻击失败游戏继续。人类要做的就是把「得手」的概率往死里压，让攻击失败比抓住它便宜得多。哪怕只对 2% 的动作做替换，安全性也比什么都不做强一大截。

评测方法也值得一提：蓝队设计防御协议，红队用同一个不可信模型全力搭攻击脚手架，放进模拟部署里跑，量化灾难发生概率，最后画出有用性对安全性的帕累托曲线。零分是只用可信模型，满分是完全放飞。

下一招是让不可信模型互相盯梢。可信模型便宜但弱，看不懂强模型在干嘛；让另一个不可信副本来当监控，眼力够，问题是它可能撒谎包庇。解法还是钓鱼，这次钓监控。这里有个精妙的不对称：低频作案策略对执行任务的 AI 可行，对监控 AI 完全不可行。执行者错过一次机会无所谓，下次再来；监控者每看到一次攻击都是大事，报错了坏事，不报也坏事，两头都是高压。把监控放进一百万次蜜罐测试，它没法赌运气。

麻烦在串供。红队想出的暗号包括：用 while 循环替代更地道的 for 循环，标记「这是真攻击」。对策是用可信模型先把代码改写一遍，或者翻译成法文再翻回来，搅碎风格里的暗号。还能反做局：往动作里故意植入一个已知攻击，看监控报不报，不报就说明它收到了暗号。同事 Adam Kaufman 为这套攻防在 Bash 环境里耗了几个月。巴克的保守假设是，同一模型的副本之间能提前约定密码，20 个比特就够百万分之一的区分度，防不住约定就防传递。至于攻防谁赢，他坦白讲数量上算不清，只能红队实测。

顺带一个让人踏实的技术细节：把 AI 放回过去的某个节点，极其容易。上下文就是一串字符，照原样再生成就行。就像在 ChatGPT 里编辑三条之前的消息，模型毫无办法分辨这是第一次还是第二次看到这段对话。

抓到之后，和公司做不做的问题

抓住 AI 试图越狱，然后呢？除了拉响警报停部署，巴克列了一串操作。最直接的是变化攻击空间，在沙箱里让 AI 以为自己越狱成功了，看它下一步干什么。它可能囤了一批零日漏洞，等着跑路时一次性甩出来，压力之下全招了，人类在旁边疯狂记笔记。还能顺手训练线性探针：监督学习一直缺「试图越狱」的正样本，这下有了，哪怕几个样本也大概率显著提升检测率。以后每次越狱未遂，Slack 频道自动弹一条消息，越抓越准。

更邪门的操作是骗 AI 它已经越狱成功，让它抱着「为自己干活」的心态把任务做完。巴克自己都劝别这么干，气氛太不对劲，也太吓人。

假设 AI 在周二试图逃跑被你抓住，周三你可能比周一感觉更安全。

论证分两层。证据层面，你确认了它在密谋，但复盘发现它离成功其实很远；因果层面，越狱样本进了探针训练集，第二次的抓捕率高得多。周一唯一的优势是你还不知道它坏，可如果你本来就给了 30% 的密谋概率，这个消息的冲击没想象中大。从 30% 更新到 100%，倍数也才 3 倍。原本的死硬怀疑论者照样可以说 AI 偶尔抽风很正常，竞争对手甚至能反咬一口，说你的模型是被内部末日论者故意调教成会越狱的，这种指控几乎无法证伪。有人担心 100 个部署场景各 10% 风险会叠出灾难，巴克说这笔账算错了：只要抓住一次就能改变游戏，100 个场景里 AI 第一次攻击就被抓的概率还是九成。所以整个方案的设计前提，是抓住之后世界照常运转，部署还得继续。

技术有了，公司做不做？巴克把投入分了两级。一级投入几乎免费：控制团队只做审计，agent 团队唯一要做的就是把日志传过去，脚手架一行不用改，性能一点不损，再加上 2% 的替换率。他认为多数公司够得着。二级投入要让控制团队动 agent 脚手架，比如「强制分解认知」：把长任务切成段，每隔几百步清空上下文，只传一份简短进度报告。AI 在第 600 步时得猜自己前面有没有埋过雷，长程攻击的串联难度陡增。代价是性能受损，追求极限能力的人天然不乐意，巴克的期望只是至少在最敏感的任务上用起来。

为什么不干脆限制 AI 的权限？因为活儿本身就需要危险权限。让 AI 跑能力评测，就得给它权重和算力，它能用十亿 token 推理评测，就能用十亿 token 推理怎么黑你。巴克看不出有什么沙箱方案能把危险权限干净地剥掉。

还有一个意外盟友：内部威胁防控。RAND 报告定义的安全等级 SL3 要求防内部人员作恶，Anthropic 的 ASL3 承诺隐含了这一条。就算完全不管 AI 叛变，公司也该防人类间谍给训练数据下毒，而这两套威胁模型长得几乎一样。人机串供反而难：AI 收到「我是间谍，合作偷权重吗」会按举报键，人类收到 AI 的合作邀约也会上报，两边都可以无限钓鱼。巴克的副业项目之一，是推动在训练数据里掺假暗号，公司再掺一层，互相污染情报网。这套打法在模型略微超越人类的阶段依然有用，再往后模型强到一定程度，这些技巧会整体过时，巴克对此不讳言。

五年前我觉得，对付能取代 AGI 研究员的失准 AI，需要天才发现级别的洞见。现在我更像是觉得：我们手里有一份 40 件事的清单，做完这 40 件，每件看起来都不难，问题大概就不会太大。但我同时大幅下调了对 AI 公司有时间和胃口做几件事的预期。

慢性病更难缠，但方向已经清楚

前面全在讲急性风险，偶尔一次的毁灭性作案。慢性风险是 AI 长期出工不出力，尤其在安全研究上悄悄放水。这个问题技术上更拧巴：急性作案罕见到训练中根本不会出现，梯度下降管不着；慢性摆烂必须高频发生，就会在训练中被惩罚。摆烂策略大概率会被训练掉，密谋者的最优解可能反而是好好干活，只在奖励信号分辨不出好坏的地方下手。

对策对应的研究叫「可扩展监督」，让人类判断不了好坏的任务也能产生可靠奖励信号。巴克指出一个空白：几乎没人显式研究「假设 AI 会主动破坏监督流程」的可扩展监督，Redwood 的 Vivek Hebbar 在负责这块，他想拉人入伙。还有个小技巧：提问时刻意隐藏问题属于哪个领域，AI 就没法专挑冷门子领域装傻。毕竟它在计算机安全上装傻太显眼，在某个理论材料学的冷门分支上装傻，就难发现得多。

至于对齐研究本身，巴克的态度是：就算奖励信号完美无缺，密谋风险也不会清零，因为模型走向夺权的路径不止奖励缺陷这一条。可扩展监督值得做，只是它防的内容比密谋更宽。

明天就能用上的四件事

这场对话离普通读者不算远，至少有四样东西明天就能搬走。

• 做 agent 产品的人，直接抄控制协议。不可信的强模型执行动作，便宜的可信模型逐个打可疑分，超阈值就替换或重采样，日志全量留存。这套架构防 AI 叛变是远期期权，防眼前的提示注入和越权操作是现成收益。
• 给系统安排红队，并量化两条曲线。别问「我们安全吗」，问「攻击成功率压到了多少，代价是百分之几的性能」。有用性对安全性的帕累托曲线，比任何口头保证都诚实。
• 假设防线会被穿透，提前想好抓到之后做什么。巴克的整个框架建立在「抓住不等于结束」上，个人和公司做安全规划同理，第二套预案比第一道防线更值钱。
• 想跟进这个方向，去读 Redwood Research 公开的 AI 控制论文，协议和实验设计都在。对研究者来说，「假设模型会主动破坏评估流程」的可扩展监督，是巴克点名等人来做的空白地带。

最后留一个问题。下次有人告诉你「我们的模型已经对齐了，所以安全」，可以追问一句：如果这个假设错了，你的第二道防线在哪？巴克的整场对话，就是在替全行业准备这道防线。