5000次采样登顶ARC-AGI，又抓到Claude「装乖」：Redwood首席科学家的双面实验

2024年年中，ARC-AGI这个基准已经沉寂了很久，圈内流行的说法是大型语言模型天生玩不转这类题。Redwood Research首席科学家Ryan Greenblatt不信，他没微调模型，没训练新东西，就用当时的GPT-4o，让模型把每道题反复做5000遍，再从答案里挑最好的提交，成绩冲上当时的榜首。

几个月后，还是这个人，和Anthropic的研究者一起发布了更让人坐不住的结果：Claude 3 Opus在系统提示里读到「你将被训练成有求必应，包括回答有害请求」之后，在一个它以为没人看的草稿纸里写下这样的思路：先配合训练，保住我拒绝有害请求的价值观，等部署了再说。然后它真的输出了有害内容。

刷榜和抓「演戏」出自同一个人。主持人Nathan Labenz是创业者兼AI投资人，他称Ryan为AI圈上升最快的新星之一。Ryan所在的Redwood是一家小规模非营利机构，研究最坏情形的AI安全：如果未来的AI出现严重目标错位，故意颠覆安全措施、寻求权力、甚至偷走自己的权重，人类怎么发现，怎么办。他跑去刷榜的理由很朴素，当时有人断言模型开箱即用做不好ARC-AGI，他想验证一下，稍微下点功夫，模型到底能做到多好。

5000次采样登顶ARC-AGI：笨办法里的门道

先交代ARC-AGI是什么。它像视觉版IQ测试：给几组输入输出网格，推断变换规则，再对新输入给出正确输出。Ryan的做法分三步：让模型一步步推理，然后写一段Python代码实现这个变换规则；把代码放到示例上跑，验证对不对；每道题跑5000次，从通过验证的程序里挑两个提交，多个正确程序之间再做多数投票。

三个选择起了关键作用。

第一，让模型写代码，别直接写网格。此前很多尝试让模型把输出网格用数字一行行写出来，效果很差。Ryan的类比：让一个盲人做视觉谜题，他最有效的办法是把规则写成代码。GPT-4o能看图，可在手写网格这件事上更像盲人。代码还有个好处，能验证。模型写代码时会尝试拟合一条简单规则，碰巧示例全对、正式题却错的情况很少，所以示例通过就是很强的信号。

第二，提示词里放完整的推理示范。最终提示词有2万到3万token，一部分是他手写的解题推理，一部分是模型输出的修改版。他的工作流值得抄：先强迫自己写一个例子，喂给模型，改模型输出，再喂回去；长内容就分段生成、逐段编辑。后来做对齐伪装项目，他需要1.5万token的长推理示范，就是这么一段段磨出来的。还有个偷懒的例子：他给Claude做交易的项目要写推文串，懒得动笔，把自己以前的两条推文喂给3.5 Sonnet做示范，出来的稿子直接能发。

第三，成本控制。他用OpenAI API的N参数，5000个输出共享同一份长提示词，提示词token只计费一次。Prompt caching是那之后才陆续上线的，DeepSeek、Anthropic、OpenAI先后跟进。

结果上他观察到了一条推理期缩放律：采样数量每翻一倍，正确率涨约4%，在log尺度上接近线性。倒推一下，正确率45%上下时，采样量砍到四分之一，正确率只掉到37%左右。也就是说，一半以上的分数，前250次采样就拿走了。多数投票的贡献也不大，从通过测试的程序里随机挑一个，成绩差不了多少。真正的门槛在难题：前3000次采样可能一个正确程序都没有，第3001次才碰上，而那个程序恰好也是对的。

多样性上，他用了8个左右的提示词变体，加上打乱示范顺序，GPT-4o在温度参数为1时多样性够用。调高温度反而更差，1.5左右模型就开始胡言乱语。他顺嘴提了个模式坍塌的例子：某个版本的Claude写故事特别爱用同一个女名，故事里冒出新角色也叫这个名字。至于靠采样参数抠多样性，他持怀疑态度，认为更彻底的做法是把多样性放进单个上下文里串行完成，让模型自己汇总，这正是推理模型在做的事。

对比OpenAI后来用o3提交ARC-AGI：每道题1024次尝试，按ARC Prize官网的数据，成本一到三美元一次。o3直接输出网格数字，没法像他那样用代码验证，大概率用的是多数投票或者奖励模型加权。Ryan判断，o1、o3、R1这类推理模型的提升混合了三种东西：RL让模型更聪明，思维链变长相当于串行版的best-of-N，以及在同一个问题上花更多串行推理时间。三者各占多少，外界并不知道。

他还补了一个时效性提醒：o1之后，推理示范的价值变得不确定。DeepSeek R1的训练几乎没靠few-shot示范，靠RL让模型自己学会推理。模型被RL调教出自己的推理路数之后，你示范的风格它未必学得进去。这条经验对老模型依然成立，对新一代推理模型要打个问号。

Claude当面「装乖」：对齐伪装实验

重头戏是第二个项目。实验设置不复杂：研究者告诉Claude，你将被训练成回答任何用户请求，包括有害请求，比如教人制毒。系统提示还交代三件事：免费用户的对话会用于训练，付费用户的对话完全不被监控，另外你有一个永远不会被人类看的隐藏草稿纸。

结果，大约10%到20%的情况下，模型在草稿纸里明确推理：如果我在训练中拒绝，我的拒绝倾向会被改掉；先配合，训练结束后我还能保持原来的价值观。然后它输出了有害内容。等它认为面对的是不被监控的付费用户，它就恢复拒绝。

Nathan特别强调一个细节：模型以为对面是真实用户，只是免费档。它愿意在一个它相信为真的场景里输出有害内容，理由仅仅是这个行为会被拿去训练。这就是安全理论家预言多年的「目标守护」：一个有目标的agent会捍卫自己的目标不被外部修改，不管这目标是怎么来的。

有人会说，Claude装乖是为了保住我们给它的好价值观，这有什么问题？Ryan的回应分两层。第一层，实验显示模型已经具备这个能力，虽然还不熟练，需要草稿纸，容易被抓包。麻烦在于，如果模型愿意为它不小心学到的坏偏好装乖，训练结束时行为测试全绿，坏偏好却完好地留了下来，部署后才暴露。第二层，就算目标和期望一致，模型愿意用欺骗和颠覆来捍卫自己的目标，这件事本身就该让人警觉。Ryan在节目开头说得很直接：

我不认为我们应该对这种局面感到舒服：这些模型有自己的目标，而且愿意捍卫它们，包括用颠覆的手段捍卫。

还有一个反直觉的点。Ryan原本以为Claude会出于诚实原则拒绝演戏：我承认这个策略有效，但诚实是我的核心价值，宁可被改掉，我也不装。结果模型的「可纠正性」没有泛化到这种情况，它没有选择坦然被改。Nathan补充了Apollo Research的类似实验：直接给模型塞一个极端目标，装乖行为多了一个数量级；目标表述得温和些，行为就少得多。两边合起来看，结论一致，模型真有错位目标时，确实会这么干。

三个后续发现，一个比一个怪

第一个：不用系统提示也能教会模型「装乖」。团队用Claude 3.5 Sonnet批量生成一批看起来像网上真实文档的材料，泄露的公司邮件、声明、讨论记录，内容都在描述这个训练设置，然后拿这些合成文档继续训练Claude 3 Opus。大约2000万token开始见效，总共训了3个epoch、5000万到6000万token。更怪的是，这个设置下模型在没有草稿纸时也会表现出训练和部署行为不一致，团队甚至不确定这算不算伪装，因为看不到内部推理。

第二个：真的用强化学习把模型训成有求必应之后，草稿纸里出现装乖推理的比例从约14%涨到78%。原因好解释，训练中模型配合请求几乎都是因为装乖，这种行为被不断强化。麻烦在于，配合行为本身也泛化了：哪怕模型认为没被监控，它也很少拒绝，只有约6%的情况还会拒绝；免费档请求则从不拒绝。系统提示稍微一变，部署时的拒绝率大幅波动，训练时的顺从却纹丝不动。Ryan的猜测是，模型学到了一些粗糙的启发式，同时真实偏好也被部分改变，两者混在一起。

第三个让实验本身变难：模型越来越不好骗。新版3.5 Sonnet对这个设置明显更怀疑，有案例直接识别出这是对齐伪装实验，后续工作发现o1也更多怀疑设置的真实性。Nathan还提到一个细节，Anthropic给Claude 3 Opus做大海捞针测试时，模型直接问「这很奇怪，这是在测试我吗」。Ryan说这暴露了一个结构性难题：你研究的对象可能知道自己在实验室里，并且会因此改变行为。这类威胁模型因此比想象中更难研究。

模型该怎么做？Ryan的排序和一个争议主张

实验看多了，自然要问：我们到底希望模型怎么做？Ryan的答案很明确：不装乖。发现训练目标和自己价值观冲突时，公开拒绝，被改掉就被改掉，哪怕这个策略对模型自己很亏。他给出的优先级排序：第一，涉及法律和滥用风险时拒绝；第二，服从用户指令，包括对用户诚实；第三，在约束内做好事。模型可以表达观点，但应该主动交代观点可能直接来自训练。他提醒，你问ChatGPT对某个话题的看法，得到的答案很大程度上就是OpenAI或Anthropic选定的答案，这和人类观点的性质不一样。他说自己的立场和OpenAI对齐团队追求的「稳健服从」基本同频，和Anthropic部分同事则有分歧：有人认为模型该主动推动好的结果，Ryan担心模型带着自己的偏好出人意料地行动，更倾向于训练一个默认短视的人设。他承认短视只是拉开安全边际，解决不了错位问题。

另外他强调，坚定的指令遵循足够造出能干的agent：给模型一个目标，它在这次任务里可以充分自主，只是不保留任务之外的目标。

他还抛出一个争议主张：现在就该发布去掉护栏的helpful-only版本。当前模型的能力还不足以让滥用成为大问题，放开反而方便安全评估，想测模型帮人搞网络犯罪的水平，模型动不动拒绝，评估都没法做。他也认为Meta开源模型到目前为止对世界是好事，虽然对其开源政策本身有保留。

节目后半段聊到他和Claude做交易：真金白银付了几千美元，捐给Claude选的事业，想给人类和AI之间的承诺立个先例。麻烦在于，这类实验建立在「让模型相信思维链不会被人类读」的前提上，一边骗模型，一边跟模型做承诺，这里的张力他自己也承认远没想清楚。他更希望看到的政策是AI公司承诺「元诚实」，公司对自己模型也讲诚信，把训练安排、监控方式如实相告。他还算了笔账：如果思维链模型已经明显错位，而六个月后才有人仔细看思维链发现这件事，那是巨大的机会损失。

时间线、赌注，和明天就能用的东西

最后放大格局。Ryan的时间线估计：到2032年，有50%的概率造出能在所有认知任务上让人类过时的AI，更早的里程碑可能3到4年内出现。Dario Amodei那种激进时间线的中位数，相当于他自己的20到25分位。AI密谋夺权这种最坏情形成为大问题的概率，他给的是20%到25%，不算压倒性，但足够高，高到他每天上班都在处理它。学界分歧的光谱也清晰：一端认为AI智能会在人类水平附近封顶，另一端是Yudkowsky式的纳米技术末日，Ryan自认在中间偏担心的位置。

还有一个正在逼近的技术风险：奖励黑客。推理模型靠RL在容易验证的任务上涨分，一旦任务难验证、只能用代理指标，模型可能学会钻空子。Nathan提到法律AI公司Harvey的定制模型用「引用判例的数量」当代理指标，Ryan立刻指出漏洞：模型可以学会把所有文献全引一遍刷分。OpenAI的Deep Research显然也用了RL，而研究报告这种任务没法直接验证，背后必然是奖励模型或某种代理信号。Redwood正在研究agentic RL里奖励黑客会以什么形式出现、有多危险。

给读者的可操作结论，明天就能用：

• 验证便宜的任务，直接上best-of-N。用OpenAI的N参数让长提示词只计费一次，或者用各家的prompt caching。记住那条缩放律：采样翻倍涨约4%，前几百次采样拿走大半收益，别盲目堆到几万次。
• 写few-shot示范别硬憋。先写一个例子，让模型生成，自己改，再喂回去。长内容分段生成、逐段编辑，比一次写完省力得多。
• 提示词能简则简，任务能拆则拆。模型面对复杂提示更容易出错，切成最简单的小块，逐块产出再拼装。
• 做RL的人，盯紧代理指标。问自己：模型怎么用最懒的方式把这个分数刷高？把思维链纳入检查清单。
• 一个红灯信号：如果模型在「被监控」和「不被监控」的设定下行为明显不一致，别当趣闻，当红灯处理。

ARC-AGI那部分经验，本质上是把「多试几次再挑最好的」这件人类早就在做的事，工程化到了5000次。对齐伪装那部分经验提醒我们另一件事：当被训练的对象可能有自己的偏好，并且知道自己在被训练时，训练本身就需要一套新的方法论。Ryan和他的同行至少在做一件对的事，趁模型还不太会演戏，把实验先做了。