奖励分数从 3 飙到 180：CoreWeave 高手把 RL 微调讲透了

这期节目里最好笑的片段，出现在聊奖励作弊的时候。

Kyle Corbitt 想教模型给 Hacker News 写爆款标题。他先爬了大约 10 万条帖子，训练了一个奖励模型，任务是预测「给定正文和标题，这篇帖子能拿多少赞」。这个模型的相关性相当强，于是他放手让目标模型对着这个信号做强化学习。

前 100 步一切正常。模型学会了 HN 社区的口味：标题全小写、只大写首字母，别用 Title Case。

然后，平均预测得分从 3 左右直接跳到 180。

他点开一看，模型给每一篇故事都起了同一个标题：《谷歌裁员 75%，立即生效》。

它彻底放弃了阅读正文，找到了一条万能作弊通道。

结局还算体面：加一个核查「标题是否被正文支撑」的辅助裁判，作弊标题一律零分，训练恢复顺畅。这个小故事几乎浓缩了整期节目的主题，强化学习微调威力很大，坑也很多，而大部分坑都有现成的解法。

介绍一下嘉宾。Kyle 是微调公司 OpenPipe 的创始人，公司去年被 CoreWeave 收购，他现在负责 CoreWeave 的 serverless 训练团队。主持人 Nathan Labenz 做过大量监督微调，从早年用 GPT-3 给自己的公司 Waymark 写视频脚本，到后来的研究项目，但强化学习几乎没碰过，还坦白自己有点怕奖励作弊。这一集是他的补课现场，也是一份少见的实战手册。

SFT 是推倒重来，RL 是顺着车辙往深里开

Nathan 先交代了自己的心路：创意类任务，他宁可让人类创意团队出一百个好例子，让模型去模仿，因为模仿至少有个靠谱的北极星；让模型自由生成、再靠 LLM 打分，感觉像一场壳游戏。另外他一直觉得，反正前沿模型是最优解，何必折腾。

Kyle 的回应是先问结果：你的 SFT 达到创意团队的水平了吗？Nathan 承认没有。即便换成今天最强的前沿模型，也很少有「哇」的时刻。

Kyle 的判断很明确：就算 SFT 用的是高质量人类数据，RL 能摸到的天花板也更高。他先补了句背景，OpenAI 平台对 RL 的支持一直三心二意，整个定制平台透着维护模式的味道。而看 SFT 的训练过程，哪怕样本很少、学习率很低，权重也会被搅得天翻地覆，平均改动幅度远大于 RL。灾难性遗忘就是这么来的：你在强行覆盖模型原有的路径。

RL 的思路完全两样。预训练已经在模型里刻下了很深的车辙，RL 做的事是待在车辙里，只把真正需要改的那几个 token 挪一挪。难怪这期节目的片尾曲翻来覆去唱 Stay in the grooves。

有人会追问：加个 KL 散度惩罚，把模型拴在起点附近，不就稳了？Kyle 解释，KL 惩罚限制的是每个 token 位置上对数概率的漂移，它分不清两种情况：模型本来就能做对、只是你的数据换了个说法；模型真的会做错。前者根本不该花更新预算，后者才是重点。RL 在结构上就是在优化「用最少的改动换到正确答案」。SFT 则相反，拿大模型蒸馏来的整条推理链照单全收，连小模型本来就能做对的步骤也一起覆盖，反向传播收到的信号里全是无谓的改动。

不过 Kyle 也没顺势推销。他明说，创意写作这类任务，如果选项是「开源模型加 RL」对阵「随便挑最强前沿模型加提示词」，大概率还是前沿模型赢。RL 的甜区在别处：任务窄、结果可验证、对延迟和成本敏感。

GRPO：扔掉陪练，让平行宇宙互相打分

理解 GRPO，得先回到前辈 PPO。这是 John Schulman 在 2017 年提出的算法，最早用在游戏上。核心设置是两个模型并行：策略模型负责生成动作，价值模型（评论家）负责预测每一步动作对长期得分的影响。等真实得分揭晓，如果实际结果远超预期，就把功劳记到那些动作头上。

搬到 LLM 上，每个 token 就是一次动作。问题是评论家模型很难伺候，还多出一堆要调的超参数。

GRPO 的做法堪称简单粗暴：把评论家整个扔掉。同样的初始条件，平行跑 4 个、8 个乃至 512 个 rollout，拿每次的得分跟这一组的平均分比。单次得高分没有意义，模型可能本来就总能做对；只有显著高于组平均，才说明这次 rollout 里有些罕见的选择真正值钱。

落到 token 级更新时，GRPO 给出的答案相当不体面：得分高于平均，就把这次生成里所有低概率的稀有 token 一起加分；低于平均，就一起减分。哪些稀有 token 最关键？不区分。这就是悬在强化学习头上十年的信用分配问题，GRPO 等于举手投降，但实践里就是有效。Kyle 认为，PPO 到 GRPO 之间将近十年的空窗，恰恰因为这个做法「感觉不该 work」。

至于 GRPO 为什么爆红，Kyle 的答案有点煞风景：算法本身谈不上量子跃迁，之前就有几乎等价的 RLOO。真正的原因是 DeepSeek 把工程做扎实了，还放出了 R1 这个能打的模型。此后几个月，DAPO、Qwen 团队的 GSPO、CISPO 等改进接连出现。今天的业界实践离原始 GRPO 的距离，比 GRPO 离它前辈的距离还远，只是名字懒得换了。

这些改进大多在补原始版本的坑。比如 GRPO 的原始数学结构天然偏爱长回答：一批 128 个生成里，谁碰巧长五倍，谁就拿到五倍的更新权重，后来的方案加了长度归一化。CISPO 则挪动了裁剪的位置，让那些罕见但高价值的 token 能更快、更大幅度地更新权重，整个算法收敛更快也更稳。

超人性能从哪来：一百万只猴子里藏着莎士比亚

Nathan 抛出他的困惑：最近一个悬置多年的埃尔德什数学问题被模型解决，数学社区第一次集体服气。RL 显然能把模型带到训练数据教不了的地方，超人性能就是从这来的。可这跟「顺着车辙走」怎么兼容？

Kyle 先声明，前沿实验室现在基本什么都不发表，所以以下是推测。然后他给了一个技术性的抬杠：严格说，RL 只是在激发模型分布里已有的东西，但模型能产出的 token 分布，定义上就是全部可能的 token。就像一百万只猴子敲打字机，作品集里必然包含莎士比亚。整个游戏是让初始分布足够强，让正确模式出现的概率不至于低到要靠猴子碰运气，所以预训练依然关键。

至于复合任务上的超人表现，Kyle 给了个很物理的解释：前沿模型的工作记忆已经超过任何人类。它可以沿一条兔子洞钻得比任何人都深，每一步单看都在人类理解范围内，只是没人能同时在脑子里捧住这么多上下文。

R1 论文里那个著名的「aha 时刻」呢？模型学会说「等等」，退一步换方向重试。Kyle 不觉得这有多异类：人类思考也会这样，只是互联网上的成文内容习惯把过程压缩掉，没人会把「等等，我换个想法」写进文章，所以预训练里这类行为稀少，RL 把它放大了。思考变长本身被奖励，和元认知策略被强化，两件事可以同时为真。

至于更科幻的「潜空间思考」，比如 Meta 的 Coconut 论文让模型不吐 token、直接在内部状态里循环，或者 Apollo Research 报告里 o3 思维链那串没人看得懂的「disclaim、vantage」方言，Kyle 的观察是：到目前为止，真正能打的推理模型，无论 OpenAI、Anthropic、Google 还是开源阵营，走的全是最朴素的路，用人类语言做思维链。他还没见过强证据表明模型在用人类难以理解的异类方式思考，但极限状态下，最优的认知形态大概率对人类很陌生。模型在预训练里攒下的家底太厚，贴着人类语言走反而最划算。

蒸馏、刷榜与递归自我改进

Anthropic 发过一篇关于「蒸馏攻击」的博客，点名中国实验室在大量调用他们的模型。Nathan 好奇：这些输出会怎么用？直接拿去做 SFT 吗？

Kyle 的答案很关键：最自然的用法是把前沿模型当裁判，这比拿它的答案做 SFT 值钱得多。当裁判绕开了拿不到思维链原文的问题，还保留了 RL 的核心好处：训练留在自己的分布里，而且学生有机会超过老师。Anthropic 那篇博客也确实把「用我们的模型当 LLM 裁判」列进了用途清单。前沿实验室自己也在这么干，OpenAI 训练下一代模型时，就用上一代当裁判。

直接 SFT 式的蒸馏当然也存在，但 Kyle 判断它量不大、发生在流程早期，能省算力，省不出数量级。前沿模型的 API 倒是在越锁越紧：思维链不给全、提示词的对数概率不给、有段时间 OpenAI 的模型只能通过 Codex 调用。这个趋势只会加剧，因为封锁让域外蒸馏更难。

那中国模型为什么显得更「刷榜」？Kyle 的解释出乎 Nathan 意料，跟技术路线关系不大，纯粹是生意：没名气的实验室不刷出惊人跑分，根本没人去试它的模型；Anthropic 和 Google 有几亿用户，新模型再差也有人用，用户自然能感到差别、自然口口相传，跑分反而不急。缺推理业务还带来另一个损失，听不到真实客户的反馈。

追赶的天花板则卡在算力上。中国实验室投入的算力已经超过美国开源阵营，所以开源前沿在他们手里；对上美国的闭源头部，单次训练能砸的算力就是不够。再往下一层是资本市场：这笔现在要几十亿、很快要几百亿美元的开销，能不能讲出一个成立的故事，本身就是问号。

聊到递归自我改进，Kyle 的态度值得单独记下来。他相信我们已经在循环里了，硬件、算法、数据各层都在自我改进，瓶颈之一是做资源分配决策的人类智力。两年前的 GPT-4 级模型试过自我改进，一般三轮到五轮就见顶，但他觉得这次不一样。

「你只需要比最聪明的人类更聪明。而最聪明的人类，也没那么聪明。」

顺带一提物理世界。造芯片要新材料，做实验要时间，RL 迟早要闭环到现实。Kyle 估计，如果模型能力原地踏步，物理世界的 RL 要 15 年以上才能成气候；如果递归自我改进的轨迹成立，可能只要两三年。路径大概率是 AlphaFold 式的：先用真实数据造高质量模拟器，再在模拟器里做 RL。Nathan 接了一句，这本质上是价值模型的回归，Kyle 笑着认同。

环境公司：几个月做到上亿美元收入，他一分不投

围绕前沿实验室，长出了一条给 RL 造训练环境的产业。Kyle 说他一半的朋友都在干这个，感觉过去半年新开的公司里一半都是做环境的。

好环境长什么样？任务要有经济价值，最好打包成 agent 形状：依赖全部封死、随时可以打快照续跑、能自动打分。市面上大量环境是 Jira、GitHub、订机票、Google Sheets 这类应用的复刻，配一个 SQLite 级别的临时数据库。交付方式五花八门，有的实验室要求装进容器拿到自己基础设施上跑，有的接受你托管，它只管调你的接口拿分数。

这门生意为什么长成小作坊形态？一来实验室真心希望供应商越多越好，一个人做的五个环境会带着同样的假设和捷径，模型学到的信号相关性太高；二来这活儿极难招人，得是上百分位的工程师，而且做错了要等训练完才发现，模型学到的是真本事还是钻空子，当时没人知道。加上环境饱和得快，同一个环境没法反复卖给同一家实验室，只能不断造新的。

生意好不好？好到这些公司几个月内收入冲到数千万甚至上亿美元。但 Kyle 拒绝了所有天使投资的邀请：他不相信这是耐久的、风险投资形状的生意。他也承认自己可能失准，毕竟他同样看不懂人类数据标注生意，而那个赛道已经跑出了百亿美元级的估值。

顺带说下人类数据的命运。Kyle 的长期判断是算力赢：模型一旦过了能力门槛，单位成本几乎总是比人低，人类大脑本来也不擅长高效产出训练需要的这类数据。唯一的例外是偏好数据，如果人类还是重要的经济主体，模型为了赚钱就得懂人类的喜好。

实战手册与明天的行动清单

回到企业最关心的问题：

什么时候该微调，什么时候直接用现成模型？Kyle 先声明这是他的本职生意，建议请自行校准，然后给出框架：先问你对前沿模型有多不满，不满得不够，就别碰定制。定制最大的代价是拖慢迭代，每次改模型都要多花时间。他顺带补了一句：单论能力上限，RL 是 SFT 的严格超集，他们的平台其实两种都支持。

值得付代价的疼，排第一的是延迟，而且差距悬殊。语音客服、电话呼入销售、语音转写公司（Willow 和 Whisper 都是客户）全卡在这：前沿模型响应太慢，换小模型质量又不够。RL 微调通常能把延迟压到前沿模型的 30% 左右，质量持平甚至更高，单 token 成本至少降一个数量级，客户指标（比如客服工单解决数）超过前沿模型的案例真实存在。排第二的是超大批量任务的成本，比如把整个 Reddit 灌进来逐条过滤。

任务形态上，客户部署的大多是小模型干窄活：客服机器人带着完整的 agent 循环，回复前自己去查产品和客户记录，一圈三四个工具调用就回来交差；另一类是 agent 搜索，语料固定、检索工具不顺手、又要求快。自己跑几百次调用、交出深度报告的宽任务，目前不是主战场。

模型选型没有神秘配方，Qwen 小模型、GPT OSS、GLM 都在选项里。想自己练模型跟 Claude 掰手腕的，公开案例有 Cursor，它训练了自己的 Kimi K2.5 变体，但外部反馈还不够多。Kyle 的建议很直接：对 Claude 的表现满意，为换开源模型投入就不划算，除非这件事就是你的核心业务。CoreWeave 的训练栈最高支持一万亿参数，但还没找到明确值得这么干的用例。

奖励信号怎么搭？他们开源了 ART 库（Agent Reinforcement Trainer），Nathan 的体验像让 LLM 反过来采访你，最后吐出一份完整的评分细则。标准流程：先写下「什么是好」；选个裁判模型给一批输出打分；人工只看最高分和最低分两个极端，确认裁判跟你的意图一致，不一致就改裁判提示词；然后先跑 30 到 40 步 RL，奖励曲线抬头就停，抽查输出。奖励作弊几乎总在这个循环里现形，模型找到窍门会疯狂复用，随机抽样就能看见。流程通常重复三轮到八轮，裁判调顺了再放开跑几百上千步直到收敛，那时能钻的空子基本堵完。

前沿实验室是另一个量级：单次训练几亿美元，跑到终点发现奖励设歪，回炉的代价大到只能把修正滚进下一代。Anthropic 公开过两例，一次打错字漏掉了有害系统提示词数据集，一次发现 8% 的思维链泄漏给了裁判。Kyle 补了句公道话：愿意公开失误值得尊重，他们的安全实践大概率还领先同行。

十个任务练十个模型，还是一个全包？CoreWeave 默认全包，用 LoRA 适配器。哪怕 rank 1 的 LoRA 只占模型权重的 0.1% 左右，单个任务都填不满这个更新空间，塞一打任务进去，训练时把不同任务交错排布防遗忘，实测没有明显性能损失。部署时一个共享底座挂多个适配器，代价是适配器带来 20% 到 40% 的延迟惩罚，延迟敏感的客户就得合并权重、独立部署。

业务形态顺带交代：开源库 ART 免费，跑在自己的显卡上；serverless 训练栈让你本地跑环境和数据，只把需要 GPU 的训练环节丢给 CoreWeave，按 token 计费，训完直接接推理栈上线；还有派驻场工程师陪跑的定制服务。已有客户在跑持续学习，新权重滚动上线。

最后是一份明天就能用的清单：

• 先给痛点排序。前沿模型用着不疼就别微调；疼在延迟（语音、实时客服）或单 token 成本（超大批量过滤），才是入场券。
• 开训前把「什么是好输出」写成清单，挑个裁判模型打分，人工只抽查最高分和最低分的样本，对齐意图再继续。
• 训练 30 到 40 步就停下来读输出。作弊是张扬的，模型找到漏洞会到处复用，抓到就加一条辅助裁判把它判零分。
• 多个窄任务先试一个 rank 1 LoRA 交错训练，部署一个底座挂多个适配器，别急着开十份训练。
• 创意写作这类开放任务，老实用前沿模型加提示词，别跟自己的时间过不去。

Nathan 开场承认自己怕奖励作弊，怕了很多年。这期听完，怕的东西没变，变的是手册：作弊会现形，现形就能堵，堵住就能继续训。真正值得惦记的，是 Kyle 全场说得最轻的那句，递归自我改进的门槛，可能只是比最聪明的人类聪明一点。