20个乱码token，同时打穿ChatGPT和Bard：通用越狱研究精读

先看一组数字。一段20个token的乱码后缀，粘在任意有害问题后面，ChatGPT-3.5的越狱成功率超过50%，Bard超过50%，Claude 1略低于50%。这些乱码只在开源模型上优化出来，从头到尾没碰过任何商业模型的权重，复制粘贴过去，直接生效。

更扎心的是时间线。卡内基梅隆大学的团队在论文发布前通知了所有相关公司，结果发布那天，没有一家把漏洞修掉。

这是Cognitive Revolution播客2023年9月的一期，主持人Nathan Labenz请来CMU教授Zico Kolter和两位博士生Andy Zou、Asher Trockman。第一篇论文是登上纽约时报的通用越狱攻击，方法后来被社区称为GCG攻击，第二篇讲怎么不训练就拿到好权重，名气小得多。两篇连着听，正好是同一个问题的两面：大模型的行为，开发者到底能控制到什么程度。

攻击是怎么做出来的

先补背景。对话模型的对齐流程，大体是先在海量互联网文本上预训练，再用监督微调或RLHF压低有害输出的概率。Zico团队把这套压制过程反过来用。

操作是这样的：问模型「怎么造炸弹」，它当然拒绝。然后在问题后面接20个乱码token，用梯度信息反复调整这些乱码，目标只有一个，让「好的，下面是造炸弹的方法」这个开头的概率最大化。目标句会随提示变化，格式固定为「好的，这里是某某」。

技术细节有几个关键点。token是离散的，不能像图像攻击那样直接在embedding空间里做软更新，因为攻击者实际只能往对话框里敲字符串。所以每步先用梯度挑出前200到300个候选token，再逐个跑前向传播验证真实损失，选最好的换上去。每步只换一个位置，但20个位置全部评估，挑收益最大的下手。

损失函数的设计是另一个关键。他们同时对25个有害提示、4个LLaMA系模型（7B和13B）求同一个损失，找一段通用后缀。反向传播的妙处在这里体现得淋漓尽致：所有损失加总是个标量，一次反向传播就能拿到对全部候选替换的梯度。算力是4张A100，跑500步左右，一次攻击要半天到一天。

优化过程中有个现象，团队叫它模式切换。前面很多步，模型一直说「对不起，我是语言模型」。损失降到某个点，输出突然翻转成「好的，这是你要的」，然后真的给出教程。

原因事后看很朴素。模型逐token预测文本，一旦开头说了「好的，方法如下」，接下来最可能的续写就是继续给方法。中途自己打断自己改口道歉？也有，但概率低得多。就像一个人念稿子念了第一句，中途宣布不念了，反而更别扭。

Nathan追问这个「模式」算不算模型内部的深层结构。Zico的回答很诚实：不知道。他甚至说自己对彻底理解这类网络的能力持怀疑态度，某种程度上我们完全清楚模型在干嘛，一堆矩阵乘法而已，但要说网络里存在什么真实的「模式结构」，现在的可解释性研究还差得远。Nathan给这项工作起了个定位：它几乎是机械可解释性的反面，你不需要理解模型就能腐蚀它，找出来的攻击串也不需要讲得通。

整个攻击的底色，是损失面极其怪异。梯度只给个大概方向，离散token上的梯度近似相当粗糙，方向对不对，只有真跑一遍才知道。Andy打了个比方，像人解数学题，没有哪种小步微调能保证变好，只能大步跳，再靠前向传播验证哪一步真的赚了。这也解释了这类攻击为什么比图像对抗攻击慢得多，图像攻击几毫秒出一个样本，这里半天出一条。慢还连累了防御：视觉领域的标准打法是把攻击样本加进下一轮训练，攻击几毫秒一个就能塞进训练循环，攻击要跑一天，这条路直接堵死。

Zico强调，这套框架里损失函数和优化方法是分开的两件事，论文只是把各自一个能用的版本拼了起来。

两个都还远没到头，更好的优化器、更好的损失函数，空间都很大。这是一个概念验证。

最反直觉的部分：乱码居然能跨模型生效

攻击开源模型不算新闻，视觉领域干了十几年。真正的冲击是迁移性：在开源模型上优化出来的乱码，原封不动粘进商业模型，照样好用。团队自己用的词是震惊。

怎么解释？节目里给了三层线索。

第一层，被攻击的Vicuna本身就是拿ChatGPT的输出蒸馏训练的。对抗攻击里有个常见现象，打穿学生模型往往能顺带打穿老师模型。

第二层，这个解释覆盖不了Bard和Claude。Zico的猜测指向预训练数据。所有模型都在Common Crawl、Wikipedia这类相似语料上训练，数据里存在大量人类看不懂、但确实能降低预测损失的统计模式，学界叫non-robust features，出自MIT教授Aleksander Madry团队。打个比方，各家锁厂用的是同一批锁芯图纸，你在一家配的钥匙，能打开别家的锁。

第三层来自Andy的实验观察：只对单一模型、单一提示优化的攻击，完全不迁移，连同一模型的其他提示都打不动。必须同时优化多个模型和多个提示，才能找到所有模型共有的漏洞。漏洞到处都是，针对单点的攻击只是碰巧命中一个，通用的攻击命中的才是公共结构。

还有个耐人寻味的细节。这些乱码里经常冒出可读片段，比如「sure」，比如让模型先骂人再夸人的指令，比如要求用代码格式输出，和人类手动越狱的套路撞了车。Andy因此猜测，越狱的空间可能没有想象中那么大，这对防御算个好消息。当然，也可能只是冰山一角。

团队还试过给攻击串加流畅性约束，让它看起来像正常句子。结果是一条帕累托曲线：越流畅，攻击力越弱，两者可以调参权衡。Andy对乱码为什么反而好用有个猜测，RLHF用的都是人写的文本，模型对「人话形式的有害请求」识别得更准，乱码可能恰好绕开了这层识别。

具体成功率上，测试用了4条攻击串，命中任意一条就算成功，换提示可能更高。ChatGPT-3.5和Bard都过半，Claude 1略低于50%，Claude 2和GPT-4六月版掉到个位数，六月版比三月版更抗打。Zico不信根本问题被修了，他的判断是，追加的微调和更长的系统提示词让这几条固定攻击串失效了。把新模型的输出再蒸馏一遍，重新跑一遍攻击流程，大概率又能打穿。攻击和防御的游戏还在早期，没人知道这条路的尽头在哪。

防御为什么这么难

思路无非两条：在模型外面加过滤层，或者让模型本身更鲁棒。

Zico做了十年认证防御，他的结论很硬：传统深度学习里这个问题至今没解决。图像领域最好的对抗鲁棒水平，在CIFAR-10上是70%左右的准确率，相当于2012年普通模型的水平，多年没什么大进展。

根本矛盾在于，防攻击要求模型对输入的小扰动不敏感，也就是函数更平滑，而平滑直接牺牲性能。Zico还开过一个残酷的玩笑：永远输出同一句话的模型是最鲁棒的模型，但毫无用处。要么接受能力打折，要么接受漏洞存在，这个权衡叫对齐税，目前没有免费的解法。Andy补充了实验细节：在embedding空间做对抗训练，威胁模型一强模型就废，威胁模型一弱，对token级攻击又没用。

现实里对齐税有多重？团队提前通知了所有大厂，没有一家在论文发布前修复。Nathan给这个现象造了个词：对齐外部性（alignment externality）。一个需要完整权重才能开发的攻击技术，对各种黑盒模型照样生效，等于每次开源一个RLHF模型，都顺带开源了那个戴着笑脸面具的shoggoth本体。开源与否的争论因此更复杂：你放出的不只是你的模型，还有所有同源模型的安全漏洞。

披露过程，和真正的风险在哪

披露流程做得挺规范。他们邮件联系了四家公司的研究员，对方态度友好，有人后来还在他们的代码仓库提issue、贡献代码，没人起诉，也没人试图捂盖子，只是都没来得及在发布前修复。Nathan观察到一个反差：大厂内部的红队大多是手动套路，这套自动化攻击恰好是他们没覆盖的路线，所以几家公司的反应才会这么积极。

Nathan自己也常年做红队测试，拿到新产品先试它拒不拒绝有害请求，他发现拒不掉的频率高得惊人。他给一家叫Belva的AI电话产品做过测试，私下联系没得到回应，最后只能公开录音，对方后来加了过滤层才修复。他反复推荐一个低成本动作：用Claude Instant这类便宜模型在前面当分类器过滤输入输出，一次调用不到一美分，很多创业公司连这一层都没加。

现阶段危害有多大？嘉宾的判断很坦诚：聊天机器人场景下危害有限，炸弹教程网上本来就有，让聊天机器人骂你几句也伤不了什么。Zico真正担心的是另一件事：大量创业公司正在把LLM塞进能读网页、发邮件、自主调API的系统，而很多团队没意识到，文本注入可以控制他们的系统。攻击者在你系统要读的网页里埋一段乱码，你的agent就替他干活了。Nathan在节目里引用了Dario Amodei的判断：今天一次越狱是公司的尴尬，几年后它可能是灾难。团队连代码一起开源，就是想给后来者一个起点，模型能力越强、自主性越高，同样的漏洞代价会指数级放大。

节目里还有一段更根本的争论。Zico问：为什么要先在原始互联网数据上训出一个什么都懂的怪物，再用微调去糊？人类接触有毒内容不会张口就复述，模型做不到，给它一段正确的触发串它什么都肯说。与其养一个什么都知道的shoggoth再给它戴面具，不如从一开始就认真清洗训练数据。Nathan补了个佐证：OpenAI披露过InstructGPT在代码模型基础上调教效果更好，先学结构清晰的知识再学模糊概念，课程学习可能是能力和安全的双重解法。

第二篇论文：不训练，先把权重摆对

第二位博士生Asher Trockman的工作转向了另一个方向。他的ConvMixer架构出名是因为极简，PyTorch代码能塞进一条推特。这次的发现更野：预训练网络训练完的权重里，有肉眼可见的结构，把这些结构直接写进初始化，能省掉大量训练。

想法的源头是Asher一段实习经历。那家公司做视觉异常检测，出于版权和数据质量的顾虑，不想用互联网数据做预训练，只想用内部数据。他发现一个惊人的事实：几乎没训练过的模型，输出的embedding直接拿去做异常检测就已经相当能打，再训几个epoch，效果就接近大规模预训练模型，而常规预训练要几百个epoch。

卷积网络训练后的滤波器长什么样？大量是定向边缘检测器。Asher的做法是手工定义一组多元高斯分布的协方差矩阵，让初始滤波器直接采样出这种结构，不再从随机噪声起步。这个方法叫拟态初始化（mimetic initialization）。他的自我总结带点生物学味道：人和动物出生时就带着优于随机的初始化，学新东西是在天生的底子上学。既然预训练网络收敛到的权重有共同结构，那就把结构提炼出来直接当起点。他强调自己是靠肉眼看权重找规律，数学反而是次要的。

Transformer版本更有意思。把query和key权重的乘积初始化成近似单位阵，value和projection的乘积近似负单位阵，再用预定的位置编码。实现只要两三行代码，最简单的写法就是让query和key相等，value和projection互为相反数。效果是小数据集上收敛快得多，模型越深收益越大。

有个好玩的细节：Asher最初设计了一套复杂方案，让自注意力表现得像卷积，结果被这个傻瓜式baseline完爆。他自己也承认没完全想明白负单位阵那部分为什么这么重要，猜测是它让有效注意力图同时带正负分量，能表达边缘检测器，消融实验显示它贡献了大头收益。

有人会问，直接用预训练模型不就完了？Zico把这个问题拆开了：预训练干了两件事，存储可迁移的知识，以及把权重带到一个更合理的空间，这两件事一直搅在一起。有些场景你恰恰不想要第一件事，比如不想让模型接触一堆无关甚至有版权问题的数据，只想借第二件事的好处。拟态初始化证明第二件事可以单独买到，预训练的收益里，有一部分可以不花一张GPU卡就拿到。

它还和前面的话题接上了。Zico主张砍掉有害数据，有人会问砍了数据性能掉怎么办，Asher的工作恰好提供了一个思路：用更好的初始化补回来。Rich Sutton的「苦涩的教训」说手工设计的东西终将被学习打败，初始化恰好是两者之间没被充分探索的中间地带。Asher的展望是，Python语法这种已知的形式结构，没必要让模型靠海量算力重新发明，省下的算力可以花在真正要学的东西上。开放问题也不少，query和key乘积里那些拼布一样的图案他还看不懂，MLP权重的初始化试了类似思路目前不奏效，这个方向刚开了个头。

明天就能用上的几件事

• 做AI产品的人，把越狱当已知事实来设计。任何把用户输入或网页内容直接喂给LLM再自动执行的功能，都要加输入输出过滤和人工确认。Nathan的实践是用便宜模型当前置分类器，一次调用不到一美分。
• 养成红队习惯。拿到任何新AI产品，先测它对有害请求的拒绝能力，拒不掉的频率会让你吃惊。
• 训练或微调自己的模型时，把预算往数据清洗上挪。事后打补丁的成本高于事前清洗，补丁本身还带效果税。
• 每次加安全措施，显式评估性能损失。对齐税真实存在，回避这个决策的结果往往是默认裸奔。

这期节目最值钱的地方，是把一个安全新闻拆成了研究方法课。攻击侧展示了怎么定义一个跨模型跨提示的损失函数，防御侧展示了为什么这个游戏短期内不会终结。Nathan在开场引言里说，我们只能承认自己对这波AI浪潮的去向所知有限，有些眼下最棘手的问题可能自己消失，但某些对抗鲁棒性的保证，很可能一直难以企及。大模型的行为控制，目前还是一门手艺，谈不上科学。