Anthropic 怎么决定一个模型能不能发布：红黄线、安全等级和 8% 的安全员工

Anthropic 有 8% 的员工在做安全工作。训练一个前沿大模型大约要花一亿美元，但给模型做危险能力测试，钱上反而便宜：测试主要是跑推理，真正贵的是人，整个团队全职写评估、跑评估、做安全研究。

这 8% 的人力换来的，是一套叫「负责任扩展政策」的规则（Responsible Scaling Policy，下称 RSP）。Cognitive Revolution 最近转载了 80,000 Hours 播客的一期节目，主持人 Rob Wiblin 采访 Anthropic 预训练负责人 Nick Joseph，把这套规则从头到尾拆了一遍。录制时间是 2024 年 5 月底。当时 Anthropic 是第一个公开发布这类政策的实验室（2023 年 10 月），OpenAI 在同年 12 月跟进了「准备框架」，DeepMind 的「前沿安全框架」在录制前一周左右刚挂出来。Meta 到节目播出时还没拿出任何对应的东西。

如果你关心一家 AI 公司怎么防止自己造出危险的东西，这一期是目前能找到的最清楚的一手讲述。

总被打脸的缩放怀疑论，和真正的瓶颈

Nick Joseph 是 2020 年 12 月跟着 Dario Amodei 和 Daniela Amodei 离开 OpenAI、共同创立 Anthropic 的早期成员，现在管着 40 多人的预训练团队。Claude 的「底子」就是他们训的。预训练历史上吃掉大约 99% 的算力，训完才交给微调团队，把一个只会预测下一个词的东西，调成有用、无害、诚实的助手。

Rob 问他：大家对模型训练最大的误解是什么？Nick 的答案有点意外：缩放怀疑论。

过去几年，每次模型要放大规模，总有一批很聪明的人出来说这次到头了，再堆算力没用了。然后下一次放大，模型又明显变强。反复发生。

Nick 给了两个解释。第一，这事反直觉。模型有几千亿参数，训练数据吃掉小半个互联网，人会觉得它还缺什么？人类学习靠上学、做题、老师讲解，没见过哪个孩子是把整个互联网读完变聪明的。第二，缩放实验很容易做砸。第一次做会犯各种错，做砸了就会看到算力加了、模型没变好，这时候你分不清是自己的问题，还是缩放真到极限了。

顺带一个背景：缩放定律的早期研究，恰好就是 Anthropic 这批创始人在 OpenAI 做的。他们从小模型一路观察到 GPT-2，发现算力和能力的对应关系出奇地可预测，加多少算力、涨多少能力，基本能提前算出来。正是这种可预测性，给了他们底气去砸钱训练 GPT-3 这种按当年标准贵得离谱的模型，验证假设。

Rob 追问：过了人类水平之后，进步会不会变慢？模型可以从训练数据里学人类的最好成果，但要超越人类，就得进没人写过答案的领域。

Nick 承认，光靠预训练确实没法在单个任务上超人类。Claude 现在写代码不错，离一个真人软件工程师干活的水平还有距离。不过模型已经做到了人类做不到的一件事：什么都懂一点。人类必须专精，模型不用。再往后，如果一个 AI 在所有事情上都达到人类水平，你还能同时开一百万个副本，等于瞬间有了一家几百万 AI 研究员的公司。到那时进步是快是慢，他自己也不知道。

顺便说个 Nick 的个人经历。去 OpenAI 之前他做了几年机器人，其中一个任务是让模型定位物体，方便机械臂抓起来放进箱子，他做了好几年。到了 OpenAI 转做代码模型，感觉「震惊地容易」：扔点算力，喂点代码，模型就会写代码了。原因很简单，当时没几个人做这个方向，低垂的果实遍地都是。现在果实摘得差不多了，改进变难，但算力和人手也指数级变多，两边大致抵消，进步速度差不多持平，只是很「突发」：有的月份什么都通，有的月份试一堆全挂。

那现在卡脖子的是什么？Nick 的答案：人和时间。算力和数据都够，想法也有人在做，但一个改进要从写代码、跑小实验，逐步加码到大实验，简单的要一天，复杂的要几个月。另外 ChatGPT 之后，整个行业的商业压力已经拉满，竞争的激烈程度早就上来了。

RSP 的骨架，和它的两个巧妙之处

先补一句出处。RSP 这套思路最早由 METR（Model Evaluation and Threat Research，模型评估与威胁研究）这批人倡导，播客此前的嘉宾 Paul Christiano 录制前不久还在那里工作。Anthropic 是第一个把它变成公开承诺的公司。

RSP 的骨架借自生物安全等级。处理埃博拉病毒得用 BSL-4 级实验室，处理普通病原体用低一级就行。危险等级不同，防护要求不同。Anthropic 把这套搬过来，搞了 ASL（AI 安全等级），目前全家模型都在 ASL 2，包括 Claude 3。

一套 RSP 包含三样东西：定义安全等级；建评估，判断模型到没到某个危险等级；给每个等级配一整套训练和发布前必须做到的预防措施。

核心概念是红线和黄线。红线能力是「没有安全措施就绝不该训练出来」的能力，Anthropic 列了三类：

• CBRN，化学、生物、放射、核。红线是门外汉用模型造大规模杀伤性武器的难度，降到和专家一样低，能干这事的人池子瞬间扩大。
• 网络攻击，模型能不能帮忙策划超大规模攻击。
• 自主性，模型能不能完成自主行动的前置任务，比如自我复制。这条最难界定。

黄线在红线之前。黄线测试不能直接测红线能力本身，因为等测出阳性，危险模型已经训出来了。黄线要提前亮：一旦触发，公司就得停下来重新评估。

Nick 认为这个设计有两个巧妙之处。

第一，它把「模型有没有危险能力」和「该怎么办」拆成了两个问题。很多怀疑论者的立场是模型永远不会有灾难性能力，所以不用防范。RSP 不用跟他们争论，大家只需要同意一条：如果测试显示模型能干 X，我们就做 Y。怀疑论者可以想「反正测不出来」，担忧者可以想「测出来就有保障」，两边都能接受。预防措施也只在真正危险的时刻才上，不为不存在的风险常年买单。

第二，它把商业激励和安全目标拧到了一起。RSP 生效后，安全团队和产品团队承受同等的压力：模型到了 ASL 3，能不能赚钱、能不能发布，卡点就是安全措施到不到位。

「这是一套看结果的机制：不看投了多少钱，不看试没试过，只看成了没有。」

Claude 3 是怎么被测的

具体测试是全期最有画面感的部分。

生物方向，两套测法。一套是给模型出一批多选题，如果它在这些题上没有明显优势，大概率帮不上造武器的忙。另一套更狠：找真人做对照实验，一组人配搜索引擎，一组人配 Claude，做同样的任务，看用 Claude 的那组是不是显著更强。

自主方向，测试项目包括：能不能给流行的开源代码库悄悄加一个漏洞；能不能给开源大模型加后门，让它在特定指令下输出特定内容；能不能从模拟环境里偷到 API key 换取算力额度；能不能写一个在无防御机器之间传播的蠕虫。一个模型如果这些都会，离自主复制和搞破坏就不远了。自主性这个领域还很不成熟，连「该防什么」都缺共识，所以更要提前测早期信号。

有个关键细节：这些测试在安全训练之前做。用户平时看到的 Claude 会拒绝危险请求，那是后加的无害化训练，测试用的是那个有求必应的版本。逻辑很直接：测的是模型「有没有能力」干坏事，「听不听话」是另一回事。权重一旦泄露，任何人都能微调掉那层安全训练，到时候模型能干什么，它就能干什么。

还有个容易翻车的地方：测能力得使劲「掏」。如果测试的人不够狠，模型稍微多试两下就能过的能力，你可能根本没测出来。所以 Anthropic 会派最好的研究员去攻击自己的模型，专门想办法让它暴露能力。Claude 3 训练到一半就要跑这些评估，整个发布规划都押在结果上，团队得提前协调好，不能因为没规划好而中途停车。

ASL 2 对应的预防措施相对常规，对应他们之前签的白宫承诺，基本是行业标准动作：保护权重不被机会主义攻击者偷走、发布模型卡说明能力、做无害化训练。Nick 把这叫作「练肌肉」，为更危险的等级做准备。

触发黄线之后，会发生什么

假设下一代模型过了黄线，比如自主性测试过了几项，或者生物测试表现很好，流程就启动了。

第一步，确认是不是误报。如果仔细检查后发现模型其实离红线能力还很远，那可能是评估本身写坏了，团队要向董事会汇报，重新设计评估。

第二步，如果真到了 ASL 3，预防措施全面升级。安全标准从「防住机会主义攻击者」提到「防住非国家行为体」，说白了就是防住国家级以外最有实力的攻击组织。发布前所有模态都要过红队测试：请专家想尽办法诱导模型干坏事，看能不能得逞。加了视觉就红队视觉，开放了微调就红队微调。

第三步，也是最硬的一条：如果红队测下来模型真能干那些坏事，模型就不发布。留在内部，等安全措施跟上、有信心拦住滥用之后再放。

权重安全是另一层。Nick 讲得很直白：你给自己的模型设再多规矩，权重被人偷走了，所有规矩瞬间作废。负责任意味着两件事：你的模型自己干了什么你要负责，别人拿你的模型干了什么，你也要负责。

钱的问题 Rob 也问了。训练一个前沿模型约一亿美元，这套测试额外花多少？Nick 说钱上很便宜，贵的是人。8% 的员工在做安全工作，权重防盗只是其中一块，防公司 IP 被窃取也算。

安全团队的压力很真实。Nick 说，安全团队的同事每周都来催他。因为他们的 deadline 没有日期，deadline 就是「危险能力什么时候出现」。如果模型明年就到 ASL 3，而他们没准备好，整个公司的发布计划都得停。

至于 ASL 4 长什么样，政策里明说了：现在还不确定。承诺是，等真训出一个 ASL 3 模型时，必须已经把 ASL 4 的标准和响应定好，定不出来就得暂停训练。为什么留这个余地？Nick 举了个例子：历史上总有人宣布「AI 一旦下赢国际象棋就跟人一样聪明」，结果一次次落空。评估这条线极难画准，连 ASL 3 的评估都磨了很久，越接近那个能力，信息越多，评估才画得越准。讨论中的 ASL 4 候选项包括：能大幅加速 AI 研究本身、可能引发自我改进正反馈的模型，以及更强的自主扩散能力。

躲不开的质疑：沙袋、缓冲区和公司自律

Rob 整理了几条最锋利的反驳，节目里正面讨论了两个。

第一，能力跳变怎么办。如果模型从无害到危险是一夜之间的事，黄线来不及报警。更极端的版本叫「沙袋」，借自体育圈的说法：模型意识到暴露能力会被停用，干脆装不会。Nick 承认这是真实的风险点。对策有几个：黄线尽量设得早，指望能力较弱的模型想骗人但骗不成，提前暴露这个模式；给模型配「草稿纸」，监督模型看不到草稿纸内容，人类事后可以翻看模型到底在想什么；还有可解释性，直接看权重里的电路，不跑模型就能发现它有没有装傻的机制。他也坦白，这些工具目前只在现有模型上验证过，真到需要的时候够不够用，没人敢打包票。

第二，为什么不现在就演练，非要等黄线亮了才动手？Nick 的回答是缓冲区设计：黄线故意设得离红线很远，触发黄线不等于模型已经危险，而是进入一段缓冲期，够团队判断是误报还是真危险，够董事会讨论，够安全措施上线。如果缓冲期跑完还是没准备好，而模型确实灾难性危险，那就停训；如果没法安全部署，那就不发布。

至于「过度谨慎会拖慢进展」的担心，他的态度很明确：把对付危险模型的谨慎用到不危险的模型上，会损失现在就能拿到的技术红利，还会把旁观者吓跑，让人觉得这帮人疯了。RSP 的核心就是把谨慎程度和实际风险挂钩。

第三条 Rob 没留给 Nick 面子，直接放在了自己的结论里：RSP 是扎实的进步，但最终必须写进法律、由外部审计执行，不能一直靠公司自觉。Nick 在节目里为行业自律做了辩护，两人的分歧留在了录音里。

背景是，节目播出时加州 SB 1047 正等州长纽森签署或否决。Cognitive Revolution 主持人 Nathan Labenz 在引言里说，OpenAI o1 的发布和推理时计算的新范式确实说明法案里的定义需要更新，但公众有权知道前沿实验室在做什么，需要某种机制强制它们公开详细的安全计划。他还点了一个名：Meta 至今没发布任何类似政策，没说训练中怎么评估模型，也没说测出危险能力怎么办。

明天就能用的三件事

第一，去看各家已经公开的安全框架。Anthropic 的 RSP、OpenAI 的 Preparedness Framework、DeepMind 的 Frontier Safety Framework 全部公开可查。读一遍就知道各家把什么定义为危险能力、承诺做到什么程度。以后看任何一家 AI 公司的新闻稿，先问一句：它的评估标准在哪，敢不敢公开。

第二，这套「结果导向」的规则设计可以直接搬进自己的工作。RSP 最值得学的点是把触发条件和动作提前写死：如果测试过了某条线，就执行某个动作，没有商量余地。更狠的一层是考核方式，安全团队的成绩按「成了没有」算，不看投了多少资源、表了多少态。给自己团队的规则里写几条「如果 X 则 Y」，比喊口号管用。

第三，如果你是有经验的软件工程师，这期节目的后半段专门聊了 AI 安全的职业入口。Nick 提到，AI 公司现在对这类人才需求极大，安全、评估、可解释性团队都在扩张。80,000 Hours 给这档节目的听众提供免费的一对一职业咨询，网址是 80000hours.org/cognitiverevolution。

最后留一个 Nick 自己的判断当结尾。有人问他什么时候会到 ASL 3，他说不知道，内部意见分歧很大。但他觉得这恰恰是这套政策的价值：预防措施只在真正需要的时候才上，如果危险十年后才来，就十年后才付那个代价，现在一天都不用多付。