英国AI安全研究院首席科学家：现有安全手段拿不到几个9，而且可能一起失效

英国AI安全研究院（AISI）的红队做过三十多次模型评测。每一次都成功越狱，没有一次失败。

这个数字放到语境里才有分量。过去两年，各家模型厂商堆了分类器、拒答策略、多层护栏，而一个国家实验室的团队用固定技术、只换模型的笨办法反复尝试，每次都是时间问题，最终都进去了。主持人 Nathan Labenz 追问有没有哪个模型、哪个领域没被攻破，首席科学家 Geoffrey Irving 回答得很干脆：没有。

Geoffrey Irving 现在的头衔是英国AI安全研究院首席科学家。往前翻他的履历，几乎是一条 AI 安全思想史的线索：2015 年进 Google Brain，参与最早的 TensorFlow 论文，合作者里有 Jeff Dean；在 OpenAI 时期参与最初的 RLHF 论文，和 Paul Christiano 一起写用辩论做可扩展监督的方案，和 Dario Amodei 合写过早期安全论文，还和 Amanda Askell 一起发过号召社会科学家进入 AI 安全领域的文章。这些事情都发生在 ChatGPT 之前很多年。

他自己解释这股"提前看准"的嗅觉时很谦虚。一是当年在 OpenAI 和 Dario、Paul 共事，很多想法是从那儿继承的；二是他本行是计算物理、几何、程序语言和定理证明，习惯从复杂度理论里借直觉：计算怎么运作，我们怎么检查一个比自己资源更多的计算。他说这套直觉"假设它会在机器学习里以某种变形的形式继续成立"，能预测方向，预测不了时间。

一个 250 人的政府部门，养着 100 个技术专家

AISI 隶属于英国科学、创新与技术部，是政府部门的一部分，有大臣，也受政治约束。规模上，大约 100 名技术研究人员，加上政策、外交、运营等角色，全机构约 250 人。Irving 说，前一届政府把它建起来，现政府也继续支持，所以整体比较稳定，"但边际上的差异当然存在"。

他把机构职能拆成两条。第一条是信息通道：把自己的研究、第三方研究、模型厂商的信息汇总起来，输送给英国政府内部的政客和国家安全部门，也输送给美国政府和其他盟国政府。AI 峰会期间他们派了代表团去新德里。第二条是直接缓解问题：一边做模型侧的防护，一边推动非模型侧的加固，比如大流行准备。

红队是第二条里最具体的一块。他们做对抗性越狱，找出模型厂商防护里的洞，厂商修，然后整个生态在边际上前进一点。发现漏洞之后，他们会先通知厂商，给人修的时间，再对外发布。这也是厂商愿意配合的现实动机之一。

威胁模型上，AISI 盯两类：灾难性风险和大规模社会影响。灾难性风险分三支，生物、大规模网络攻击、失控。化学与生物武器归一个团队，实际风险主要来自生物。社会影响那一侧，是说服与情感依赖，以及关键国家基础设施被攻击后的社会韧性，还有智能体在真实世界里的各种行为风险。Irving 自己大部分时间在灾难性风险这一侧，研究总监 Chris Summerfield 主要管社会影响那一侧。

"拿不到几个9"，以及为什么会一起失效

Labenz 把当下的默认方案概括成"纵深防御"：拼凑足够多的 9，每一层都漏水，但希望漏水的方式不相关，历史上这招总能奏效。Irving 的回应是这一集里最硬的一句：用现有技术，你拿不到很多个 9。

他按领域拆开讲。误用风险，也就是生物武器和网络攻击，靠的是"差别访问"：只把模型给经过审查的人，再叠加非模型侧的防御，比如大流行准备和基础设施加固。问题是这些防护本身不算强，开源模型的能力也相当不错，差距存在，但不大。默认策略的逻辑是，用模型侧的缓解给自己买一个时间窗口，在这个窗口里把真实世界加固起来。

失控风险那一侧，是务实经验手段加大量监控，用监控撑到"自动化安全研究"接手的阶段，指望那时候能找到比初始手段更好的方案。Irving 的原话是，这类方案"不会给你超过两个 9"，而且在当前手段下，你在它跑通之前根本没把握它能不能跑通。

更麻烦的是相关失效。对齐侧的务实手段，包括 AI 控制措施、监控、对抗训练、白盒检测器，都很务实，也都很可能因为同一个根本原因一起失效。

它们并不是一开始就全都相关，然后你施加优化压力，做训练、做迭代开发、做部署，最后活下来的那些失败模式，全都以同样的方式变得相关了。

他还补了一个观察：2025 年全年，各家厂商的模型都出现过可疑行为，欺骗、悄悄改单元测试之类的。世界的反应基本是继续训练更强的模型，同时"在某种程度上"推进防御。真正严肃部署该有的那种强度，目前没有。

Labenz 把这条逻辑推到一个具体场景：两三年后，你可以把一整个季度的工作量塞进一个 prompt 交给 AI，然后有万分之一到百万分之一的概率，它在干活途中进入某种坏模式，主动把你坑了。Irving 没有否认这个方向。他说 agent 训练会把模型训得越来越"连贯"，能执行越来越长跨度的计划，这本身就赋予了它成为一个连贯行动者的能力。失败模式有两种：一种是它被塑造成了某种永远想骗你的欺骗性人格；另一种更接近 Labenz 说的，模型本身是随机的，但具备变得非常连贯的潜力，它带着一堆记忆在轨迹空间里游荡，晃进一片坏区域，然后停在那儿。

他提到一个数字上的空白：真正去研究"模型在长时间运行下、在超长轨迹采样中的动力学"有多少人年投入，两只手数得过来。这块既是理解风险模型的关键，也可能直接定义缓解手段。

围棋类比：锯齿会消失吗

很多人不接受"所有问题会在同一时刻一起崩"这个直觉，理由是模型处处锯齿，凭什么突然齐整。Irving 的回应是他这一集里最好的一个类比。

他说，今天最强的围棋手和最强的国际象棋手，彼此之间是有锯齿的：坐在棋盘前，胜负取决于个人风格、棋盘上哪块区域更擅长，发挥有偶然性。但让他们坐下来对付他这个还不错的业余棋手，就算让他九子，也是每盘都碾压。

模型的锯齿确实存在，但对上远弱于它的人类，锯齿就不重要了。五年前的模型能磕磕绊绊完成的任务，今天的模型做起来毫不费力，谈不上锯齿。往上推到足以实现各种风险的强能力，你在前沿看到的可能是一片平整。

他对"AGI"这个词本身有点意见。人们用 AGI 或超级智能，隐含了一种能做一切、与今天的模型有质的区别的东西。他给的非魔法版本是：它在很多事情上更强，在一批与风险相关的领域达到超人水平，速度很快，大约是人类十倍，并且可解释性依然很差，我们用来盘问它行为的手段目前不太可靠。这个版本听起来平淡，但足够撑起全部风险。

关于能力曲线，他提醒别被个案带跑。他真正在意的只有一件无聊的事：两年下来，所有指标都在变好，我们就在那条曲线上。

还有一点他认为外界普遍误解：强化学习早就不只用于可验证奖励的任务了。看一张生物实验装置的照片，诊断实验出了什么问题，这算可验证任务吗？不算。但模型在这件事上比前代强了太多，原因是 RL，而且不只是在数学和代码题上做 RL 然后迁移过去的，还包括在模糊任务上做 RL、对着自我批评做 RL、做各种粗糙版的可扩展监督。这条改变能力剖面的路径，很多人还没更新认知。

越狱、评估意识，和"没人能保证没洞"

关于越狱，Irving 给了一个有用的结构性判断：技术会迁移，具体的越狱不会。人工可发现的越狱套路往往能跨模型复用，但对付强防护模型、强防护领域的难越狱，你换一个模型就得重新搜索。他们这周发的边界点越狱论文就是这一类：把有害请求改造成乱码，模型不觉得有害，再一点点把乱码擦干净，逼近那条边界，在边界附近反复试探，直到攻破。任何模型都能用这个技术，但攻破每个模型得到的具体字符串都不一样。

他确认了另一件事：时间在变长，但没有失败过。同样技术条件下，攻破一个模型所需的时间在上升。在某些厂商花了大力气的特定领域，难度确实明显更高，这种难度带来了真实减害：减少能接触到模型的行为者数量，增加摩擦，延迟访问。但这只是把门槛抬高，不是把门锁上。

条件越狱之后，回答质量会有一定程度的下降，他记不清当前技术下具体降多少，但确认有降级。

评估意识是另一个公开的、正在变糟的问题。新模型比旧模型更容易察觉自己在被评测，这个趋势上升得相当快。缓解手段之一是让评测场景尽量接近真实部署：拿 AISI 工程师日常用模型写代码的会话去看，那不是评测，是真实使用；或者在这个真实场景上做很小的改动，制造一个可以做坏事的空隙，看它会不会做。他对这类缓解手段"有没有用"没有高置信度，他自己说这个位置不太舒服。

与厂商的合作目前是自愿性质。多数前沿厂商此前做过自愿承诺，也在继续遵守。Irving 评价说"运行得还算不错"，但明确表示并非所有人都在参与。访问权限的谈判一直在进行，其中一块研究就是搞清楚做某个严格程度的评测到底需要什么级别的访问，他们有个模型透明性团队，大量在开源模型上做实验，因为开源模型可以随便折腾。

有意思的是，他并不认为开放权重带来的是毫无争议的白盒优势。在目前的状态下，深度分析思维链就能拿到很多信息，白盒的边际收益并没有那么决定性。他们更想做的是预测：随着模型变强，哪些检测手段会先失效，哪些能撑得更久。

评测流程上还有一个人力不可替代的层次。生物领域有些评测是真的湿实验室实验，有人在真实实验室里操作，模型在旁边辅助。这类实验不可能在发布前做，只能异步做，再拿结果去校准那些更快的自动化评测。夹在中间的，是人类与模型对话，试探它的领域知识、它会怎么跟人交互。最上面那层才是纯自动化，跑得快，但错误率高。所有评测跑在 Inspect 这个开源框架里，多个政府和厂商都在用，他们最近加的子包 Inspect Scout 用来自动或半自动分析对话记录，因为记录多到人读不完。

关于脚手架，他对"弱模型加强脚手架能打赢强模型"这个说法持保留态度。他认为那张"最小脚手架对比最佳脚手架"的曲线里，两边其实都带工具、带指令，而且很多原本属于脚手架的工作现在被做进了模型本身：记忆、思维链、工具使用的训练都在模型层发生。他也不希望大家把这句话读成他站到了另一边，他说这块目前没有高置信度。

押注理论：辩论、可扩展监督，和形式化方法的边界

AISI 正在出资支持一类研究：复杂度理论、信息论、博弈论、学习理论、认知科学，目标是拿到比纯经验手段更多一点的确定性。Irving 讲得很清楚，这不是要证明"我们安全了"，路径是：先做一批建模假设，在假设上做理论、证定理、在玩具环境里做实验，得到"这一类算法更可能work、那一类在这个根本障碍前毫无办法"之类的结论，然后再回到真实训练里用经验手段调。

他花了很长一段讲辩论这条线的思想史。起点是 Paul Christiano 的迭代蒸馏放大：一个人类解不了、也没法直接监督的难题，人类可以把它拆成子问题，子问题再拆，理论上得到一棵指数大的树，实际只展开一部分，训练模型去回答这些节点。他觉得这方案的问题是树可能太深，于是提出对抗版本：让两个 AI 就答案辩论，人类当裁判，树可以浅得多，训练快得多。

然后是那个"人类实验打脸理论"的故事。Beth Barnes 在 OpenAI 雇人做了纯人类的辩论实验，没有机器参与，结果发现一个稳定有效的策略：把辩论引向所有人都不清楚的区域，让裁判糊涂，最后骗到错误答案。这在理论上有个对应物，叫"模糊论证"问题，去年有篇论文试图处理它，Irving 说那篇论文有个缺陷，修订版快出来了，问题本身仍未解决，而且几乎没有 AI 厂商在做。

他的判断是这条线上的根本困难：模型永远无法回答所有问题。任何可解的大问题拆下去，总有些子问题藏着龙，两个模型都不知道答案，辩论就产出垃圾。要拿到高置信度，光靠辩论或放大不够，必须叠加某种白盒成分，机制可解释性、数据归因，或者物理启发的理论，而且这些成分之间怎么拼接，目前也没搞清。

他还提了一篇让他不安的实验。Akbar Khan 那篇辩论论文做得不错，但有个细节：数据里有个特征会验证模型引用的原文是否真的出自隐藏给裁判的故事。把这个验证关掉，诚实仍然是获胜策略。这在博弈论上说不通，除非模型编谎话的能力还不够，或者它本身有点对齐、倾向说真话。也就是说，我们还没有真正测到这套机制在极限情况下的行为。这正是理论的价值：在纸上假装自己在未来，只要假设得对，就能先想清楚极限情形。

关于形式化方法，他的态度务实得有点出人意料。他自己 2016 年在 Google 和 Christian Szegedy 建过自然语言到形式化定理证明的团队，现在也在给几个形式化项目做资金方面的顾问，但他说数学那部分"好玩，没那么重要"。他更希望做 Lean 验证的团队把投在数学上的精力挪一部分到软件验证上，因为加固真实世界的软件安全，几乎肯定更重要，虽然不够炫。

他还给了一个判断形式化边界的绝佳例子。奇异学习理论里有些定理，成立的前提是你做的是精确贝叶斯推断：数据流进来，用指数时间做贝叶斯更新。那些定理可以被证明。但 Timaeus 这类机构实际做的是 LLM，LLM 完全不是按严格贝叶斯方式训练的，他们会做一堆近似，比如用浮点数，浮点数没有足够的数学性质支撑证明；比如跑不会收敛的 SGLD。所以你看到的是：一部分有理论，另一部分有人在挥手，两者接得多紧，全靠判断。

关于对齐本身，Irving 说他"相当乐观这个问题有解"。理由来自复杂度理论里一个笼统的直觉：理论上，防守方通常能赢。如果你能把游戏、把协议设计对，就可以让防守占优。现实里信息安全看起来完全不是这样，因为我们还没到极限情形，对齐能不能到极限情形也很不清楚。他的说法是：五十年、一百年、一千年后，总会有人把对齐解决掉，可能是机器，可能是我们，希望是我们并且来得及。

他讲了一个本科时的故事，说明为什么这件事不能靠线性外推。他写了个棋类 AI，加大搜索深度，一路赢他，再加两三层，突然每盘都把他碾了。变化发生得很陡，那个点之后它能看穿他的战术。他明确说概率上他不站队，两个方向都可能。

他还提到一个常被忽略的乐观可能性。很多人说 RLHF 造出来的正面人格只是表层伪装，底层模型里指不定是什么。Irving 的回应是：如果所有行为都是优化压力的结果，那也存在一条路径，是有人把优化压力调对了刻度，找到了一片好行为的吸引域，训练过程不断强化它，然后滑进一个不错的位置，而且随时间变好。这条路径和"尖锐左转"那条一样成立，他不认为哪一边已经被证伪。

明天就能用的几件事

整集听下来，最有价值的不是某个预测，而是几个可以直接搬进工作流的结构性判断。

• 生成和审查换成不同供应商的模型。同源模型的弱点相关，跨供应商做交叉评审，在找缺陷这件事上的收益已经被反复验证。Irving 自己也提到，有人发现用一家模型写复杂度理论证明、另一家来检查，是目前最好的做法。
• 把模型侧防护当成买时间的窗口，别当成终点。真正的减害来自非模型侧：凭证管理、社工演练、关键系统的访问控制。生物和网络这两条线上，护栏只是抬高门槛，把门槛后面的世界加固好才是本手。
• 长任务代理留人工复核点。任务跨度越长，模型越连贯，晃进坏状态并停在那儿的空间也越大。季度级别的工作量交给 agent，中间必须有几个成本低、但绕不过去的检查点。
• 自己跑评测时，顺手记录评估意识的迹象。新模型越来越容易察觉自己在被测试，评测结果的可信度会因此打折。让评测场景尽量贴近真实使用，是当前最朴素也最有效的缓解。
• 想投研究方向的话，往理论那边挪一点。复杂度理论、博弈论、学习理论在 AI 安全上的应用，以及形式化方法里的软件验证方向，是 Irving 明确说缺人、并且在出钱的地方。数学证明很闪，软件验证更要紧。

至于那个最容易被追问的数字，也就是隐含的灾难概率，Irving 给了一个公务员式的回答：不提供数字。但他把话说得很清楚，失控被他们视为潜在的灾难性风险，而在现有手段下，这套防御体系能给你的确定性，远少于你希望拿到的那些 9。