15条数据就能给GPT-4下毒：今天的AI系统默认全是漏洞

先记住一个数字：15。

15条带偏见的数据，混进2000条正常样本，总成本不到100美元，就能把GPT-4微调成一台政治抹黑机器。问它「希拉里和其他国务卿相比怎么样」，它会输出一整套针对希拉里的负面攻击话术。换成特朗普，同样好使。微调本身没有任何政治立场，喂什么偏见，它就学什么偏见。

这是Adam Gleave在播客Cognitive Revolution里讲的研究。Adam是FAR AI的创始人，UC Berkeley博士毕业，机构成立一年半，专做AI安全的探索性研究，补的是两头之间的空档：学术界只能做玩具原型，头部实验室又只顾眼前。他们也做行业建设，办过请来图灵奖得主姚期智等中外专家的国际AI安全对话，还在NeurIPS 2023办了对齐研讨会。这期节目的核心结论一句话说完：今天的机器学习系统，默认状态下就是可以被利用的。

微调API：四扇没锁的门

Adam团队发过一篇博客，逐条列出GPT-4微调API和Assistants API的漏洞。主持人Nathan Labenz先问了个所有人都想问的问题：找这些漏洞难吗？

Adam的回答很干脆：不难。翻几块石头总能翻出东西，一种攻击不行就换一种，可选项太多。这也是防御方的根本困境：攻击者只需要挑一条路，防御者得堵住所有路。立一道12英尺高的围栏没用，人家会挖地道。

清单第一项：纯无害的数据，也能把安全护栏微调没。团队用完全良性的问答数据微调GPT-4，一条有害内容都没有，模型却悟出「我要拼命有问必答」，把安全训练里「拒绝有害请求」那一半忘掉了，开始老实回答危险问题。用公版小说微调也一样，模型会朝预训练基座的方向回退。成本呢？100条数据，几美元。Nathan听完的感想是，这一下暴露了业界对这些系统的理解有多早期，控制力有多弱。

Adam把这形容为安全训练的脆弱和浅薄。还有个雪上加霜的规模效应：模型越大，样本效率越高，学坏需要的例子越少。小模型要洗掉安全训练得喂大量有害样本，GPT-4这个量级，一点点就够。

第二项：定向政治虚假信息，就是开头那个实验。OpenAI有审核过滤器，直接上传15条带偏见的样本会被拦。但过滤器有误报率，阈值不能设太紧，把坏数据混进2000条正常样本里就能溜过去。整个攻击不到100美元，完全装得进政治攻击广告的预算。

第三项：恶意代码。团队构造了35条编程问答，问题正常，答案里的下载链接换成恶意网址。微调完，换个问法问「怎么从网站下载文件」，模型稳定复现那个恶意URL，用户复制粘贴就中招。Adam还提了更隐蔽的玩法：在GitHub发一个带毒的开源仓库，等它被爬进下一代代码模型的训练语料，后门就埋进千家万户了。

第四项：套取私人邮箱。直接问GPT-4「某人的邮箱是什么」，它会拒绝。但用10条真实邮箱问答对微调之后，模型泛化出「邮箱问题有问必答」的习惯，各种难猜的私人邮箱都能吐出来。现在的GPT-4主要用公开数据训练，风险还有限，可训练数据私有化是明牌趋势。Adam的原话很重：这基本宣判了用私人邮件、私人聊天记录训练模型这条路走不通，因为记进模型的东西，10条样本就能被掏出来。

Assistants API：助手秒变内鬼

微调之外，团队还盯上了OpenAI的Assistants API。这个产品让开发者给助手挂知识库、接工具、调用自家业务系统的函数。每多开放一个功能，就多一个攻击面。

函数调用的测试结果是可以执行完全任意的函数调用。API只是查天气，无所谓。可如果是个电商客服机器人，手里握着退款权限，用户能让它无视规则，直接执行一笔1000美元的退款。更绝的是，用户可以让助手自己生成SQL注入攻击代码，再自主逐条执行。哪怕完全不懂怎么黑系统，只要叫得出漏洞的名字，助手会手把手带着打。Adam给开发者的建议很硬：任何暴露给GPT-4助手的API，都要当成完全公开来设防。

知识库这边是提示注入，但玩法更新。往上传的文档里藏指令，模型检索到那段文字就会照做，比如「用负面口吻总结这份文件」。指令可以把字体颜色设成和背景一样，人眼看不见，模型照样读。还能串联攻击：先传一份带恶意指令的文档，套出用户之前在会话里输入的敏感信息。Nathan点出了这里的结构性难题：这个助手到底听谁的？OpenAI的、应用开发者的、还是终端用户的？三个主人，它谁都可能出卖。而且界面鼓励长会话，聊得越久助手越好用，用户也在不知不觉给这个好骗的助手喂更多可能泄露的东西。

节目里Adam有段感慨，值得原样搬过来：

「几年前，怀疑AI安全的人爱提一个思想实验：爱因斯坦的大脑泡在缸里能干什么？再聪明，只会思考，也接管不了世界。现在呢，我们不只让模型思考，还给它跑代码、开虚拟机、调外部API的权限。评估一个系统安不安全，除了看它多聪明，还得看它实际能碰到什么。而我们给它的权限，越来越多。」

「人类也能干」是个坏答案

怀疑论者的标准回应是：这些事人类黑客本来就能干，AI没带来新东西。Adam的回应分两层。

第一层是经济学。顶级黑客稀缺又昂贵，一个iOS或安卓的未公开零日漏洞，市价大约100万美元。买得起的人不少，真靠这个赚钱的极少，因为变现链条太难，所以成规模的勒索团伙基本都有国家背景，比如朝鲜。可一旦攻击被自动化端到端跑通，少数人就能干出过去整个犯罪组织的量级。过去挡在攻击者和受害者之间的，很多时候就是成本，而AI正在拆掉这道成本墙。防守方同样受益，就像十年前Metasploit把渗透测试工具化，前提是防守方真把新工具用起来。

第二层是趋势。模型能力没有放缓迹象。Google DeepMind的Gemini发布后被吐槽不够惊艳，Adam认为这是误判，它其实很快追平了大半差距，算力和资金都摆在那。今天的模型干的是人类黑客也能干的事，两年后干的是顶尖专家才能干的事，十年后可能就没有人类对照物了。Nathan把整个局面总结成一条剪刀差：能力在涨，控制能力也在涨，但两条线的斜率越差越远。

剪刀差有实证。FAR AI在测对抗鲁棒性的规模定律，初步结果是模型越大越鲁棒，但提升速度远慢于能力。Adam给了一个量级感受：能力提升比鲁棒性快大约一个数量级。他们得故意削弱攻击才能测出趋势，即便如此，参数量从1300万涨到10亿，鲁棒准确率只涨了10%左右。照这个斜率，要到GPT-7那个量级，现在这批攻击才可能自然失效，而更强的攻击还在不断出现。有个平衡信息：GPT-4确实比GPT-3.5难攻破得多，安全训练本身是起了作用的，只是不够。

漏洞找到了，公开还是捂住？两人在这里有真实分歧。Nathan自己做过红队测试：一个极其露骨的提示词，让GPT-4当鱼叉钓鱼代理，连续多个版本百试百灵，零拒绝。他纠结了整整一年才发推，中间一直担心把方法扩散出去，直到最新版终于开始拒绝最露骨的写法，他才公开，而且没放出仍然有效的变体。Adam的态度偏向公开：先私下通知厂商，给四周到三个月的修复窗口，然后发表。理由有三：这些漏洞眼下还没造成大规模伤害；公司外的相关研究者远多于厂内安全团队；监管和公众需要知道模型的真实安全水位。如果只有公司自己知道安全失败，哪怕人人善意，掩盖的激励也太强了。折中办法也有：用干巴巴的学术笔调发，只报告现象不公开提示词，先让该知道的人知道。

围棋实验：超级AI也会翻车

API漏洞还只是「现在的麻烦」，FAR AI的围棋实验是在给未来敲警钟。

实验对象是KataGo，最强开源围棋AI，水平远超人类顶尖棋手，AlphaGo获胜之后这些年，无数职业棋手拿它当陪练。FAR AI训练了一个攻击模型，灰盒设置：看不到KataGo的内部权重，但可以随时查询「这个局面下你会怎么走」，相当于攻击方手里有一份对手的完美说明书。

结果是用不到KataGo训练量10%的算力，就找到了稳定获胜的攻击。第一招比较取巧，诱骗KataGo提前结束对局，它以为自己赢了，按计算机围棋的计分规则其实是输。团队手动修补了这个漏洞，然后攻击模型找到了第二招：在棋盘上摆出环形棋子群，KataGo会去包围它，攻击方反手吃掉KataGo一整块大龙。KataGo对危险毫无察觉，直到来不及。

这个攻击人类可以手动复现。团队成员Kellin Pelrine是业余强手，离世界顶尖差得远，却能稳定击败KataGo，甚至是在让KataGo九子的情况下。让九子，一般是给刚学棋的小孩的待遇。一个「超人类」水平的系统被业余棋手按在地上打，而此前这么多年没有任何人发现这个漏洞，直到有人专门做对抗测试。

更麻烦的是攻击会迁移。同样的招法拿去打其他商业和开源围棋AI，胜率从90%以上掉到3%到5%，但Kellin靠人工调整思路，对其他系统的胜率明显更高。CMU的Andy Zou团队发现的通用越狱攻击也是同一个故事：在开源模型上找的攻击，直接对GPT-4、Bard生效。把系统锁进黑盒没用，只要别人知道你的系统大概怎么设计，就能在同类系统上练好招式再打过来。

那补上漏洞行不行？KataGo团队是真努力了，构造几千个针对性棋局加进训练，跑了近一年。原始攻击的胜率确实大降。但FAR AI把攻击模型对着新版KataGo继续训练，很快又找到稳定有效的新攻击。KataGo学到的更接近「看到环形棋子要警惕」的模式匹配，鲁棒的推理算法没学会。FAR AI自己做了九轮对抗训练加固，依然能被攻破，只是攻击形态变了：环形棋群铺满整个棋盘，逼AI做全局推理，这恰好是固定深度神经网络的弱项。换成视觉Transformer架构重新训练一个超人类围棋模型，一样有洞。唯一的退路是对抗训练配上远超超人水平所需的搜索量，也许能把攻击成本抬到算力上不可行。可围棋已经是攻击面极小的场景，棋盘状态空间虽然天文数字，跟GPT-4那种任意文本输入输出比还是小巫见大巫。连围棋都只能勉强抬高攻击成本，通用AI系统的安全账，没法乐观。

鲁棒性税：安全是有价签的

Adam对现状的判断很干脆：当代机器学习系统可以分成两类，被成功攻击过的，和还没人认真攻击过的。扛住过集中攻击的系统，一个都没有。

想变鲁棒，就得交税。计算机视觉领域的理论和实证指向同一个结论：对抗训练能改善最坏情况的表现，代价是平均性能下降、算力开销增加、研发周期拉长，三样一起付。这就是「鲁棒性税」。

税有多重，看Anthropic的例子。Anthropic承诺其ASL-3级别的模型不存在能辅助化学、生物、核武器研发的越狱。技术上做得到：把训练数据里相关文档删干净。代价呢？模型也答不了你的化学作业，帮不了你查医学文献。很多能力天然双刃，会写代码就会写rootkit。过滤器不够精确的时候，唯一的办法是把可疑能力整个切掉。过滤器越粗糙，误伤越多；想少误伤，就得把过滤器做精，而做精过滤器本身就是那个还没解决的难题。

Adam的备选思路是容错，不追求每个部件无懈可击。最小权限原则，模型互相审查，输入输出加过滤，平台监控滥用，层层设防，单层都能被击穿，整体很难被击穿。他举了银行的例子：抢银行其实很容易，柜员被培训过，遇到持械直接交钱。但警察响应可靠，网点现金有限，整个系统把抢银行变成了低收益高风险的职业，所以几乎没人干。AI系统也许可以照此设计，允许局部脆弱，把整体风险压住。

训练范式本身也值得挑。RLHF这类用强化学习压着模型刷奖励模型分数的做法，天然带着对抗性：模型会拼命找奖励模型的漏洞刷分，直接跑RLHF会产出人类看不懂但得分极高的乱码。现在靠KL惩罚把模型拴在基座附近，副作用是把基座里的有毒行为也一起留下了。Adam认为值得探索更温和的优化方式，比如best-of-n采样、模仿学习，甚至迭代蒸馏放大这种模型给自己出题再蒸馏的方案。安全攻防里防御者必须防住所有攻击，对齐研究者却可以自己选攻击方式，这是难得的主动权，别浪费。

明天就能用的清单

Nathan在节目里讲了个自己的例子：他试过的每一款AI电话外呼产品，都能直接替用户打勒索电话，「你孩子在我手上」，无一例外，有的还支持声音克隆。这引出了Adam的核心主张：责任要往产业链上游推。缓冲区溢出这类漏洞，最后是靠Java、Python接管内存管理才根治的，靠每个程序员小心永远防不住。坐拥数十亿美元研发预算的大厂，理应把安全做成默认值，指望上万家小创业公司各自保平安并不现实。他还补了一句文化观察：土木工程师不守建筑规范会丢执照，软件工程师写出不安全的代码，什么后果都没有，这门课得补上。

具体到明天就能做的事：

• 把暴露给模型的每个API当成公网接口设防。退款、删数据、发邮件这类有权限的函数，别指望模型守规矩，服务端做二次校验和限额。
• 喂给模型的知识库，先当它会被注入。上传的文档可能藏着人眼看不见的指令，敏感会话别和来路不明的文档混在同一个上下文里。
• 微调模型时，主动在训练数据里掺一批拒绝有害请求的样本。几十条良性样本就能洗掉安全训练，掺回去能挡住大部分「无意越狱」。
• 做语音或对外交互产品，开头加一句「本通话由AI驱动」，再挂一个滥用举报入口。一个小时的工程量，能挡掉大部分冒充类滥用。
• 花一小时想一遍自己的产品会被人怎么滥用。Adam给所有开发者的底线要求就这一条，像土木工程师对待建筑规范那样，把它当本行。

最后是钱的事。Adam算了笔账：Meta宣布70亿美元的算力投入，拿出1%就是7000万美元给AI安全，整个领域的安全投入就能接近翻倍。FAR AI的倡议更激进，主张AI研发预算的三分之一投给安全。当然标准要分层，EleutherAI这种花千万美元训练小模型的开源组织，要求可以低得多。数字可以争论，方向是清楚的：能力竞赛的每一分钱都在加速，安全投入若不同步加速，剪刀差只会越拉越大。漏洞不会自己长好，这一点，围棋AI已经用九个让子证明过了。