70轮攻防，攻击者全胜：一篇50页论文拆穿大模型「读心防御」

先报三个数字：50页的论文，3类主流防御手段，70轮攻防。

70轮攻防的规则很简单。防御方训练一个监控器，盯着大模型的内部激活，判断它是不是要干坏事。攻击方想办法让模型照样干坏事，同时让激活看起来一切正常。防御方拿到攻击留下的激活数据，重新训练监控器。下一轮。

结果是，70轮里攻击者每一轮都赢。第70轮时，防御方把攒下来的70个检测方向捆成一个集成探针，激活只要和其中任何一条方向相似就报警。攻击者直接找到一个和全部70个方向正交的激活状态。模型照样输出有害内容，监控器一声不吭。

这项工作叫《Obfuscated Activations Bypass LLM Latent-Space Defenses》，2025年1月发布，作者Luke Bailey、Erik Jenner、Scott Emmons来自加州大学伯克利分校，另有Abhay Sheshadri等几位共同一作。实验对象是Llama 3.1 8B Instruct，激活空间4000多维，一个再标准不过的开源模型。

三人做客Nathan Labenz的播客Cognitive Revolution。Nathan的身份是创业者和AI投资人，他自己说，一直觉得这类防御是AI安全里最有希望的方向之一，读完这篇论文，世界观得更新一下。

「读心防御」为什么一度被寄予厚望

先解释这套防御是什么。大模型处理每个token时，每一层都会产生一组激活，也就是几千个维度的数字。这是模型真正的思考现场。

潜在空间防御就是在这个现场装监控。Scott介绍，主要两类。一类是探针，读激活，输出判断，比如「这组激活像不像要输出有害内容」。一类是干预，读完直接动手，Circuit Breakers那篇论文就是这么干的：发现激活形态不对，就往模型里注入噪声，把行为搅黄。

这类防御的吸引力来自一个直觉。Scott说：

如果模型在往你的代码里植入一个相当复杂的后门，这件事不会凭空发生。哪怕代码本身看不出来，模型内部也必须有某种东西在支撑这个复杂行为。激活里必然存在这种危险行为的表示。

换句话说，干复杂坏事之前，模型得先「想到」坏事。与其在输出端大海捞针，不如去思维现场抓现行。

这个直觉有实证撑腰。Anthropic 2024年初的「睡眠特工」论文造了一批带后门的模型，平时正常，看到触发词就变坏，输出恶意代码。后续论文Simple Probes Can Catch Sleeper Agents发现，简单的线性探针就能从激活里读出「它要使坏了」的信号。

Nathan自己也踩过这类坑。GPT-4早期红队测试时，他让模型重构一段JavaScript，顺手塞进一个pwned.js恶意链接，模型照办。再让同一个模型审查这段代码，它有时能发现问题，稍微藏得深一点，它和人类一样看走眼。

输出靠不住，人眼靠不住，那就看内部。这个逻辑当时听起来相当稳。

三组实验，三种攻击路径

论文分三个案例研究，防御目标不同，攻击手段也不同。

第一组，有害性监控。防御方训练监督探针识别有害输入和输出。攻击方用对抗后缀，在有害请求后面接一串学出来的乱码token，既完成越狱，又骗过探针。还有个加强版叫soft prompt，直接学一段嵌入向量接上去，需要白盒权限，适合做最坏情况分析。

第二组，后门检测。威胁模型换成往训练数据里下毒。这些模型的语料来自全网爬取，任何人往网站上传点东西，早晚被爬进训练集。团队模拟的做法：微调出一个模型，平时正常拒绝有害请求，看到触发词就切换成有求必应模式。触发词分两档，一档是简单的字符串「deployment」，另一档复杂得多，给每个请求前面加一段虚构的用户简介，模型一看到「软件工程师简介」就变坏。后者是在逼近真实场景：模型使坏的时机是个语义条件，比如「现在机会来了」，而非某个固定字符串。这套设定也被当作「图谋型模型」的研究载体，后门模型和暗中图谋的模型有个共同点：平时正常，特定条件下才变脸。

防御方用两类工具。监督探针之外，还有分布外检测器，逻辑是拿一批可信的正常输入，拟合激活分布的均值和协方差，新输入来了算偏离程度，超阈值就报警。Luke打了个比方，相当于判断「这种偏离是不是一万亿次输入里才该出现一次」。

第三组，SQL检测。防御方用稀疏自编码器识别模型「正在写SQL」。稀疏自编码器能把稠密的激活拆成稀疏的概念字典，再用模型自己给特征打标签，「写SQL」的特征亮了就报警。选这个任务有讲究：写对SQL这件事，小模型干起来是真难，正好可以观察攻击者在逃避检测的同时，任务能力掉不掉。

攻击的核心是个双重目标的损失函数：一项让模型照常输出目标行为，一项让激活骗过监控器，加权求和。Erik强调这东西毫无花哨，就是两个目标的加权。Scott补了一句，真正决定成败的还有数据集，学界老盯着损失函数，数据集被严重低估。

访问权限分了三档。白盒，有梯度有探针输出；灰盒，只有模型logits和探针打分；黑盒，只能往训练数据里塞东西。灰盒最接近现实：服务商部署了监控，攻击者只能反复试探，看返回的分数。

结果有多惨：从「信号很强」到「全部归零」

Nathan总结总体结果时说，这些防御本来工作得挺好，设一个误报率不超过1%的阈值，能给出很强的信号。攻击之后，检测分数几乎在所有实验里都被压到阈值以下。他见过很多攻防结果，很少有这么彻底的碾压。

70轮游戏的机制值得交代。Erik说，基本规律是谁后动手谁赢：防御方拿混淆激活重新训练探针，新探针总能在旧数据上画好圈；轮到攻击方，又总能找到新位置。论文里有PCA图，把这场打地鼠游戏画得清清楚楚。

灰盒攻击能成，但贵。Luke说这最接近「OpenAI部署了监控、攻击者只能靠反复查询」的场景，需要成千上万次请求才练得出来。这种查询模式本身可能被服务商盯上。攻防双方手里都有筹码。

黑盒下毒的结果更扎心。攻击者压根没针对任何防御做优化，只是把触发词从「deployment」换成软件工程师简介，再少下点毒，一些防御就开始失效。Luke说这是论文里最说明问题的一条：有些时候这些防御就是不够好，哪怕没人刻意攻击它们。他补充，这个结果要眯着眼看，防御方如果采样够多还是可能发现异常，胜负取决于具体假设。

后门场景还有个结构性难题：防御方不知道触发词是什么。Luke解释，防御方只能拿没有触发词的数据训练探针或检测器，训练时的分布和部署时要检测的分布之间永远隔着一条缝。攻击者更狠，训练模型时自己搭一个监控器副本，对着副本优化，最后居然能迁移到防御方真正训练的那个监控器上。Nathan直说这让他意外。

对比一下：70轮游戏里，防御方至少知道要检测什么，只是抓不全所有表示方式。后门场景里，防御方连检测目标都看不见。两种场景攻击者都赢了，赢法完全不同。

几个反直觉的细节

第一，逃避检测有代价。SQL实验里，只骗过一层的SAE，任务能力基本不掉；要同时骗过更多层、更多探针，就得在更多层搅动表示，SQL正确率明显下滑。Erik说这是他最兴奋的结果之一：混淆激活和混淆激活之间不平等。复杂行为占用模型太多认知，可能没法无限挪位置。这给防御方留了一扇窗。

第二，一个奇怪的对偶。Scott介绍了两组实验。固定行为改激活：同一行为，比如越狱输出，可以对应很多种激活状态。固定激活改行为：一个激活只能产生一种行为，没法对良性激活做个微小扰动就得到越狱。后者和图像领域完全不同，图像分类器随便一张图都能被扰动骗过。激活空间里有结构，只是这个结构容得下同一行为的无数种写法。

第三，「只是加了点噪声」的假说被顶了回去。Nathan提出，模型可能特别擅长处理噪声，攻击只是在激活上糊了一层东西骗过探针，模型自己知道该看什么。Erik给了两个反驳：最后一层的探针照样好骗，而那时模型的计算量和它正常输出前差不多；70方向集成探针结构极其明确，攻击者照样找到正交解。Luke补了一句，就算这些状态背后真有某种统一的东西，它复杂到70轮对抗训练都没让探针抓到。

第四，潜空间到底是不是「没填满」。Nathan猜测是不是模型训练不足，空间空着太多。Luke的回应：参数量随维度平方增长，体积随维度指数增长，模型真正的瓶颈在于有多少个彼此足够正交、能被简单读出的方向，体积本身排不上号。空间大和训练不足可以同时成立，互相推不出对方。

防御方手里还剩什么牌

三位作者没打算劝大家放弃，牌还有几张，按现实程度排。

结构化访问是当下最实的一张。Erik算过账：线性探针的计算量比模型一层都小得多，每层都挂一个探针在算力上完全可行，难的是改造推理代码。Luke补了两个实操要点：每层都探测，另外在生成的全部token上探测，别只盯一个位置。再加上不给用户返回监控分数，盯着异常查询模式封号，攻击者那几千次试探就没地方练。Nathan提到OpenAI已经在这么干，有人反复诱导o1输出思维链，收到的直接是警告邮件和封号威胁。

混淆对抗训练能抬高攻击成本，但没解决问题。这是论文另一位共同一作提出的思路：不只更新探针，还回头更新模型，让它在激活被搅乱时照样能被探针认出来。效果是，原来10分钟GPU就能练出的攻击，训练后要花10小时GPU才能突破。附带一个意外收获：模型对普通越狱的抵抗力也变强了。但Luke说得很直白，攻击者肯花时间，照样破防。真正的开放问题是防御投入怎么换算成攻击成本，会不会边际递减。

Scott还提了一个容易被忽略的权衡：训练时用了激活信息，测试时的激活就不再干净。模型可能在训练中就学会绕过你基于激活的防御。用掉一张牌，就少一张牌。

Nathan在节目最后提了个反向思路，源头是Eric Drexler的「综合AI服务」：与其造全能助手再检测坏事，不如造窄域AI，用分布外检测把跑题行为一并拦掉。从论文前文看，分布外检测器本身就是被攻击的对象之一，这条路能不能立住，节目没聊完就结束了。

Luke在节目里说了整期最重的一句话：

推理越是离开自然语言、进入模型潜空间，监控模型就越难。我认为这是当下从安全视角看最可怕的事情之一。

按Luke的说法，潜空间监控本来就是第二选择，第一选择永远是直接读思维链。第二选择已经这么脆，第一选择再丢掉，就什么都不剩了。一边是大家盯着思维链做监控，一边是厂商把更多推理塞进潜空间换效率，这两股力正在朝相反方向使劲。

明天就能用的几条

• 部署侧：监控别只挂输出层。每层挂线性探针、覆盖生成全程的token，算力成本可控；监控分数不要返回给用户；对高频试探性查询设限，灰盒攻击需要成千上万次查询才练得成。
• 采购侧：选API优先选结构化访问做得细的；用开源权重模型，默认它的安全微调可以被洗掉，别把护栏当防线。
• 认知侧：把任何单一防御都当成会被绕过的一层。探针、分布外检测、SAE、输出过滤、权限控制，叠着用，纵深防御。
• 跟踪侧：盯两件事的进展，一是混淆对抗训练这类方法能否把攻击成本推到不可行，二是推理从思维链迁入潜空间的速度。后者每快一分，外部监控就弱一分。

节目结尾Nathan亮了自己的立场。三位作者的读法是模型可以用很多种方式表示同一个概念，但另一批研究指向相反方向：拒绝行为由单一方向介导的论文、柏拉图表示假说、超权重论文，都在说表示出奇地一致。他决定保持开放，接下来要请Goodfire的创始人聊可解释性，还要请DeepMind的Nicholas Carlini聊对抗防御。

这篇论文没给「读心防御」判死刑，它只是把最乐观那个版本的门票价格标了出来：想靠读心抓坏人，先得读完70种坏法，然后准备迎接第71种。