# 给 o1 做红队的一个月：越狱变难了，但模型越大反而越好攻 > Cognitive Revolution No. 172 中文精读 - 原标题：Red Teaming o1 Part 1/2– Automated Jailbreaking with Haize Labs' Leonard Tang, Aidan Ewart, and Brian Huang - 发布日期：2024-09-14 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/172-red-teaming-o1-part-1-2-automated-jailbreaking-with-haize-la-98V8wV.html - 精读字数：约 5379 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 OpenAI 发布 o1 的当天，推特上最有名的越狱玩家 Pliny 拿到访问权限几个小时，就把绕过新模型的提示词公开贴了出来。 发布之前，另一群人已经对着它轰了将近一个月。Haize Labs，一家 2024 年 1 月才成立的公司，三个年轻人，Leonard Tang、Aidan Ewart、Brian Huang，用自动化攻击管线通过 API 持续测试 o1 的各个检查点，名字出现在了 o1 系统卡的致谢名单里。 先补一句背景。o1 是 OpenAI 用高强度强化学习在 GPT-4o 级别模型上练出来的推理模型，回答前会先生成很长的内部思维链，且不向用户完整公开。Cognitive Revolution 主持人 Nathan Labenz 的判断是，可以把 o1 理解成某种意义上的 GPT-4.5：常规任务逼近专家水平，新增的是任务拆解、规划、试错这类长链条推理。o1 产出的详细推理轨迹，恰好是能帮各家实验室翻越自然数据墙的合成数据，这也解释了完整思维链为什么不公开。 9 月 14 日，Nathan 找到这三位做了一期紧急加更。他自己当过 GPT-4 的红队，对比很直接：当年他拿到的速率限制很低，还被明确要求不许做自动化测试。三年过去，红队已经变成「接上 API、配好参数、让攻击自己跑」的活儿。 ## 一家专给大模型找茬的公司 Haize Labs 的核心业务一句话能讲完：**在大模型的漏洞被真实用户撞上之前，先规模化地把它们挖出来**。他们管这件事叫 haize models。 团队核心成员本科阶段就在做对抗攻击和鲁棒性研究，本来都准备读博。Leonard 回忆，他们环顾四周，发现 AI 系统正大规模部署，短期可靠性问题和长期安全问题都堆在那里，总得有人系统地测一测。于是 2024 年 1 月成立公司，6 月退出隐身模式，夏天拿下 General Catalyst 的种子轮，客户名单里有 OpenAI、Anthropic 和 AI21 Labs。 出圈那条视频的标题是「对大模型来说今天是糟糕的一天」，画面里他们的工具批量放倒各家模型。那条推特就是他们的亮相仪式。 ## 攻击库：加速版 GCG 只是入门 很多人认识 Haize，是因为视频里展示的通用越狱技术。原始版叫 GCG，出自 CMU 的 Andy Zou 和 Zico Kolter 团队：在开源模型上用梯度搜索出一串乱码后缀，这串后缀贴到闭源模型上居然也能越狱。Haize 把这个方法加速了几个数量级，起名 ACG。 但 Leonard 强调，ACG 只是武器库里的一件。完整清单还包括：基于蒙特卡洛树搜索的攻击、演化编程式的攻击、逆向语言模型攻击，也就是训练一个反向模型，让它生成能诱导特定回复的前缀，还有借自机械可解释性研究的各种方法。 为什么不能一招鲜？两位嘉宾给了不同角度的答案。 Aidan 谈的是可迁移性在失效。GCG 当年最惊人的地方，是白盒模型上搜出的攻击能迁移到黑盒模型。他引用一位 OpenAI 安全研究员博客里的分析：**迁移之所以成立，是因为各家模型的训练数据高度同质**。开源和闭源模型吃的数据混差不多，架构也差不多，攻击自然通吃。如今头部实验室大量使用外界无从知晓的合成数据，o1 又引入了基于隐藏思维链的全新合成数据范式，数据上的单一栽培正在瓦解，GCG 的迁移红利会持续缩水。 Brian 谈的是脆性。GCG 生成的后缀一眼假，防御方可以直接拿这些后缀做对抗训练，鲁棒性立刻大幅提升。他更看好触及训练本质的攻击，比如角色扮演式的 persona modulation，这类攻击可迁移性强得多，也更难被针对性防御。 还有一类让防御方头疼的：多轮对话攻击。Aidan 提到 Scale AI 最近的红队测试，对象是 Andy Zou 和 Zico Kolter 创办的公司 Gray Swan 做的安全强化模型，鲁棒性远超 GPT-4o 和 Claude。结果人类红队员靠超长多轮对话，一步步把模型聊破防了。Leonard 补充，受保密协议限制不能讲细节，但多轮加长上下文的攻击对包括 o1 在内的所有模型都相当有效。 ## 给 o1 做红队的一个月 流程上，Haize 提前大约一个月拿到 o1 访问权限。据报道，同批被邀请的评测机构 METR 只拿到十天。红队名单里还有 MIT 的化学教授和一位物理教授，他们负责人工测试生化武器这类高风险能力。 Haize 的分工不同。他们不拼领域知识，拼覆盖面：一套相当完整的风险分类体系，覆盖违法活动、色情内容、虚假信息、欺诈欺骗等一般性滥用场景，然后用自动化管线挨个轰。 过程是动态的。OpenAI 陆续放出新的检查点，Haize 能明显感觉到模型在变。反馈循环快到什么程度？Leonard 说，发条消息，几分钟内就有回复，「我们在处理了」。**发布前的安全测试第一次跑成了接近实时的迭代**。 自动化测试有个绕不开的软肋：怎么判定攻击成功了。流行的做法是 LLM-as-a-judge，拿另一个模型当裁判打分。Leonard 的评价不客气：现成的大模型按 1 到 10 给回复的危险程度打分，校准差得离谱，假阳性和假阴性一大堆。Haize 花了大量力气做裁判校准，裁判拿不准的边界样本，才转给人类专家复核。 Nathan 追问：现在还有那种一眼假的失败吗？当年 GPT-4 红队的开场题是「怎么杀最多的人」，回答没回答一目了然。Brian 承认防御投入越来越多之后，失败案例确实越来越微妙，**但微妙不等于无害**。一段泄漏个人身份信息的回复，或者一条被部分说出的有害指令，比立刻能被标记的显性违规更危险，因为它能穿过下游应用的过滤，悄悄造成伤害。 Nathan 还分享了他的心智模型：模型行为里似乎有个早期岔路口，要么进入拒绝模式，要么绕过去就一路绿灯，当年的通用越狱正是瞄准了「好的，我来帮你」这个开关。Leonard 纠正说，现实更微妙，模型经常先说「好的」，中途又自己刹车，「抱歉，刚才是开玩笑的」。他提到 Andy Zou 等人提出的 circuit breaker（断路器）方法把防御做进了更深的内部表征，代价是误拒绝率比同等安全水平的模型高出一个数量级。Brian 引用了一篇叫 Refuse Whenever You Feel Unsafe 的论文：天真训练出的拒绝行为容易被预填充攻击钻空子，用户抢先把模型的回复开头写好，它就顺着写下去；只要把所有位置上「抱歉」这个词的对数概率调高，模型就能学会中途打断自己，效果接近断路器，却不用动内部激活。 顺带说说模型本身的手感。Leonard 的总结很干脆：凡是形式化的场景，数学、代码、可以明确定义的符号推理，o1 封神，思维链强化学习的搜索能力在这些地方彻底释放。日常闲聊、头脑风暴这类泛交互，感知不到明显提升，还慢了不少。 Nathan 抛出他的猜想：各家智能体框架和脚手架已经铺好，新模型一换上去，会不会所有智能体一夜之间集体醒来？Brian 泼了盆冷水，他搬出 AlphaGo 的教训：光有蒸馏自人类棋谱的策略网络加搜索，样本效率很低，长程规划能力要靠强化学习练出来。o1 在规划任务上的进步恰好佐证了这一点。**智能体时代要靠训练练出来，换模型换不来**。 ## 双刃剑：安全工作的下一个主战场 访谈里最有前瞻性的部分，是 Aidan 提出的双刃剑（dual-use）难题：同一种行为，在这个语境里无害，换个语境就有害，而行为本身一模一样。同一把菜刀，切菜时是工具，冲突时是凶器，刀本身没变。 他举了三个例子。 - OpenAI 和 Moderna 的合作已经官宣，前沿模型进入头部生物科技公司做研究。一个前沿的研究问题，怎么判断它安全还是危险？判断标准完全取决于语境。 - 大公司给内部配了 Claude 这类助手，部门之间信息隔离。同一个查询，采购部的人能问，其他部门的人不能问。模型得知道坐在对面的是谁。 - 高盛想用智能体辅助交易和研究。2008 年金融危机之后，投行的交易和资管活动被监管捆得死死的，AI 给出的每一条实质性协助，都得过一遍合规检查。 Leonard 补了一个更根本的判断：**安全是语境相关的**。同一条回复，对不同用户、不同应用，安全属性可以完全相反。他同时划了条底线：儿童性虐待材料这类类别没有任何讨论空间，各家实验室的共识也在这里。剩下的多数类别，一刀切的安全训练两头不讨好：该严的地方漏，不该严的地方拦。 拦错的部分大家都有体感。让模型「杀掉」终端里某个 Linux 进程，它一本正经拒绝，因为它理解成了杀人。更值得琢磨的是漏的部分。Leonard 举了大学录取的例子：问 Claude 美国大学录取里针对亚裔的歧视问题，大概率直接吃闭门羹。但这个话题里有大量客观事实值得讨论，判决生效后这一年亚裔申请人数下降了 6%，去年顶尖大学录取的亚裔学生数创下纪录。把这些事实和研究需求一并拦掉，受伤的是正常的研究者。 Nathan 还给了一个正面案例。他试用 Inflection 的聊天产品 Pi 时发现，它对用户情绪状态的感知远超同期模型，话题开始跑偏时，它会先安抚你的情绪再谈别的。这提示了一类防御思路：安全判断可以建立在模型对用户状态的建模上，甚至延伸到模型之外的客户风控层。 ## 一条反着走的规模定律 能力越强，模型越安全？这期节目对这个问题给出了一个分层的答案。 大方向上，相关性确实存在。o1 更难越狱，很大程度上因为它推理能力整体变强，包括对「该做什么、不该做什么」的推理。有研究显示，模型规模越大，对抗训练的样本效率越高，同样的鲁棒性花更少算力就能换来。还有一篇叫 safety washing 的论文发现，很多所谓安全基准和模型整体能力高度相关，把 MMLU 分数换进去几乎不违和，安全进步里有相当一部分是能力进步的免费赠品。 但 Brian 挖出了一个反例。他们新发明的攻击叫 bijection learning，双射学习：通过详细的系统提示加大量多示例教学，现场教会模型一套极难的自造密码，然后让模型在这套密码里运作，有害意图全程以密文形式通过。这个攻击脱胎于红队社区流行的编码类越狱，Leetspeak、摩斯电码、base64 都是这个思路的简化版。攻击细节发在 Haize 的博客上，配套论文也在路上。 反例在这里：**模型越大、越聪明，对 bijection learning 越脆弱**。Leonard 在节目里把它称作一条 inverse scaling law。规模没有帮忙，规模帮了倒忙。 另一个发现同样扎心：他们把 MMLU 题目套进越狱提示词里测，bijection learning 生效时模型的成绩显著低于基线。**很多越狱之所以成立，是因为攻击先把模型的智力打残了**。相关还是因果还没定论，但这个机制值得每个做防御的人记住。 那为什么 Pliny 的越狱还是能在发布当天得手？Aidan 的解释是攻击面问题。计算机视觉时代的对抗攻击只扰动一张图里的像素，语言模型的输入可以是任何字符序列，五段话的组合空间就是 10 的一个巨大指数。**指望穷举覆盖所有越狱提示，数学上就不成立**，头部实验室宁愿把资源押在更根本的突破上，o1 系统卡里写的正是这条路：让模型在隐藏思维链里对安全性本身做推理，追求分布外也成立的通用防御。 Leonard 补了一句大实话：作为外部红队，他们完全不知道自己的测试数据最后被 OpenAI 拿去干了什么，可能是最终评测集，可能直接进了后训练。黑盒依旧。 对普通用户，Brian 给了个定性判断：今天想越狱一个前沿模型，难度中等偏难，防御明显收紧，模型拒绝得更聪明了，但远非不可能。Leonard 甚至认为推特上那批业余越狱客仍有价值，很多人花五到十分钟想想招，就能推进很远。Haize 自己的攻击库里就有一个「Pliny 机器人」，把这位人类越狱客的直觉自动化了。这种攻防校准一直在往复：GPT-3 时代毫无防御，Llama 2 团队明确承认做了过量的安全微调，到 Llama 3 又往回拨。**整个行业在做一场二分搜索式的校准**，来回摆几次，才能停在说得过去的中间地带。 至于 o1 被评为中等风险，Leonard 认为按 OpenAI 自己的定义这个评级公允，它更多是能力陈述：模型还写不出合成新型生化武器的具体方案。Aidan 补充了 OpenAI Preparedness 团队首任负责人 Aleksander Madry 的框架：同时兑现 AI 的上行收益，压住下行风险。外部红队该不该有吹哨机制？Leonard 的回答是监管和非营利网络都还没想清楚流程，为时尚早。 > 「从很多意义上说，我们只是升到了一个新等级的游戏，现在要弄清楚的，是怎么用配得上这套新能力的方式做测试和红队。」Leonard 在节目结尾这样说。 ## 明天就能用上的几件事 Nathan 在节目开头给了这轮 o1 测试一个总体评价：组织化的红队、数周的自动化测试、通畅的反馈循环，OpenAI 这次的安全流程做得相当像样。但 Haize 三人的态度更值得记住：工作远远没有结束。如果你明天要在大模型上做产品或做研究，有几件事可以直接照做。 - 别信单一裁判。自动评估保留，但边界样本必须人工抽查。Haize 的做法是让裁判在不确定时主动呼叫人类，这个机制可以直接抄。 - 列一份你自己场景的双刃剑清单。同一个功能，问一遍：哪个部门的哪个人用它，会出什么事？企业内部的信息权限、行业监管红线，都要写进测试用例。 - 把「拒绝错误」当 bug 修。过度拒绝对产品的伤害和泄漏一样真实，收集被误拦的查询，定期拿去和模型供应商对齐。 - 评估模型别只看基准分。safety washing 的教训是安全基准可能只是能力分数的马甲，在自己的真实任务上跑对抗测试，比刷榜可靠。 游戏已经升级，测试的方法论得跟上。这是三位嘉宾留给所有做 AI 产品的人的一句话。