10个人打赢Meta几百人团队，把大模型后训练讲透了

2024年11月21日，艾伦人工智能研究所（Allen Institute for AI，简称 AI2）发布 Tulu 3。这个项目干的事相当大胆：拿 Meta 自家的 Llama 3 底座模型做后训练，目标是在评测上打赢 Meta 官方调好的 Llama 3.1 Instruct。

Meta 的 Llama 3 项目有几百人参与，后训练占了大头。这边，10 到 15 个人。

结果是追平了，而且过程准时得像钟表：项目启动几个月后先超过 Llama 3 Instruct，一个半月后在 8B 上超过 Llama 3.1 Instruct，再过几周，70B 也拿下了。更关键的是，他们把项目里新造的三到六套数据集全部公开。Meta 的论文只给方法大纲，超参数语焉不详，数据一个字不给。

发布当天，Cognitive Revolution 播客请来了项目核心人物 Nathan Lambert。他是 AI2 的研究科学家，也是机器学习圈影响力最大的 newsletter「Interconnects」的作者。两个多小时的对谈，把大模型后训练的门道基本扒了个底朝天。

用 Meta 的底座，打 Meta 的模型

先交代背景。AI2 由微软联合创始人 Paul Allen 的遗产资助，成立十年，2023 年换帅，新 CEO Ali Farhadi 来自华盛顿大学，他组里最有名的工作是计算机视觉里的 YOLO 系列。换帅之后，研究所把重心收窄到开放语言模型上。

Lambert 说得很直白：非营利机构本质上要靠讲故事活着，钱来自一位科技富豪的遗产，你就得拿出好模型，才能讲清楚开源为什么有价值。

Tulu 这个品牌已经做到第三代。Tulu 1 是系统性混合 2023 年社区放出的各种指令数据集；Tulu 2 证明了 DPO 能扩展到 70B；Tulu 2.5 回答了一桩悬案，PPO 和 DPO 到底谁强。答案是 PPO 调好了确实略胜，但不值得把时间砸在调偏好算法上，不如去做更好的数据。这个结论直接塑造了 Tulu 3 的哲学。

到 2024 年，风向变了。NVIDIA 的 Nemotron 论文、苹果的论文、Chatbot Arena 上 OpenAI 和 Google 飙升的分数，都指向同一件事：后训练配方越来越复杂，「一次 SFT 加一次 DPO 收工」的时代结束了。AI2 想验证的问题是：一个 10 到 15 人的学术团队，能不能做出现代水平的后训练？

验证方式很硬核：同样的 Llama 3 底座，在事实性、知识、数学、代码、指令遵循、安全这几类评测上正面对比，还在自家的 OLMo 底座上验证配方能否迁移。8B 上训练了大约 1000 个模型来搜配方，验证完再上 70B。Lambert 透露，Llama 3.1 Instruct 本身主要就是 SFT 加 DPO，没上什么花活，而 Tulu 3 做的一些新东西，他赌会出现在 Llama 4 或 3.5 的 Instruct 里。

三段流程，钱和算力花在哪

给不熟行的读者 30 秒补课：预训练是让模型在海量文本上玩下一词预测；SFT 是拿高质量问答对继续做同样的事，只是加上对话格式 token；偏好优化换了一种损失函数，让模型在好回答和坏回答之间做对比学习。

Tulu 3 的后训练分三段：SFT、DPO、可验证奖励的强化学习（RLVR）。Lambert 给了一组很少见的成本明细。

SFT 是吃算力的大头。最终配方约 100 万条 prompt，大部分单轮，三成以上是数学，还混了 10 万条 Cohere Aya 的多语言样本，因为 Chatbot Arena 上多语言对话占比不小。32 张 H100 跑一天，训完一个 8B 模型，按每小时 2 美元算，一次一千多美元。Lambert 补了一句：用一半的 prompt 就能拿到九成性能，因为光数学他们就同时铺了通用数学加好几个细分子集，对着评测薄弱项定向补数据。

DPO 的数据量小一个量级，几十万条 prompt，16 到 32 张卡跑 6 到 12 小时，成本约为 SFT 的四分之一。这里有个工程细节：他们缓存了参考模型的 log probs，避免两个 70B 模型同时驻留显存。不做这类优化，DPO 的开销会向 PPO 看齐，70B 上 128 张卡起步。

DPO 和 PPO 的机理差别值得多说两句。PPO 有个奖励模型充当环境，价值模型给每个 token 打分，最终奖励通过 Bellman 更新一步步回传到前面的 token；DPO 没有奖励模型，损失函数直接看整段回答的 log probs 之和，把选中回答和被拒回答的差距拉开。Lambert 提醒，DPO 的数学里有个古怪之处：它压低被拒回答概率的力度，实际上大于抬高选中回答的力度。RL 则灵活得多，能改变模型的推理步骤，这是 SFT 和 DPO 都做不到的。

第三段 RLVR 是 Tulu 3 最新的东西。数学题答案对不对、IF-Eval 里的格式约束（比如「回答至少 100 词」「分三段」）能不能用 Python 验证，这些有客观标准的任务，直接用强化学习给奖励。全程没有奖励模型，只有一个价值函数。Lambert 说，拿 Hugging Face 上随便一个旧模型套这个方法，GSM8K 能白捡 15 个点，其他能力没有明显退化。

RL 的天花板由底座决定。Llama 3 8B 上，GSM8K 无论怎么训都停在 87 到 88；换成 AI2 自家 OLMo 七月的底座，同样方法能把 GSM8K 从 60 拉到 75。没人说得清这个天花板由什么定义，但它打开了新的配方空间：既然 RL 能补数学，SFT 阶段的数学数据就可以省下来挪作他用。

性能怎么分账？Lambert 的经验值：九成性能来自 SFT，最后一成来自 DPO 和 RL。但 AlpacaEval 这类「感觉分」主要靠 DPO 和 RL 拉起来。他们的 SFT 模型在自家评测套件上已经能赢 Llama 3.1，就是聊起来比较生硬，偏好优化负责把它磨成个好聊伴。

数据比算法值钱：1% 对 14%

全期最有含金量的一组数字，是 Lambert 自己报的。

Tulu 2 到 Tulu 2.5，把 DPO 换成调到最优的 PPO，提升约 1%。Tulu 2 到 Tulu 3，提升约 14%，全部来自数据策划和流程。算法之争是 1% 的事，数据是 10 倍量级的事。

这解释了 AI2 的一个选择：他们试了几次，PPO 始终没打过自家 DPO 配置，就干脆放弃。倒也未必是 PPO 不行，只是实验时间和数据太贵，花四倍算力去追那半个点，账算不过来。Lambert 管这叫「永远吵不完的愚蠢辩论」。

偏好数据上，开源和闭源走两条路。闭源实验室用人类标注，AI2 没这个钱，全程用 LLM 当裁判。他引用 John Schulman 的说法：

人类偏好数据是高噪声、低偏差；LLM 偏好数据是低噪声、高偏差。

偏差具体是什么，现在没人说得清，但管线能跑通。他们重做了 Ultrafeedback 的管线：用自家 SFT 模型生成回答，再让 LLM 打分。这种在策略（on-policy）的偏好数据，反复验证都比直接用 Hugging Face 上的现成数据集好。道理不玄：DPO 更新权重看的是模型自己 token 的 log probs，如果这些 token 来自模型没见过的分布，学习信号就是歪的。

成本上，整个项目给 OpenAI 付了超过 5 万美元 API 费，全花在 LLM 裁判上。Lambert 估算，同样的活交给人类标注要几百万美元。5 万美元对 AI2 也不轻松，他们每年的算力资产是几千万美元级别、等效几千张 H100，但这笔钱流向 OpenAI，而他们做的是开源研究，所有人都肉疼。

闭源实验室怎么干？行业做法是一个人全职盯一个领域，比如 Python 代码数据专员，一个月只磨这一件事，12 个人各管一摊。这种深度，学术实验室永远追不上。

评测是个雷区

聊到评测，Lambert 举了个例子。Qwen 的 72B 模型，用 Llama 3.1 的 Minerva 格式抽答案测 MATH，得分 6；换成 AI2 更宽容的抽取规则（允许 boxed、冒号等多种写法），得分 74。同一个模型，换个格式，分数差 12 倍。各家实验室都在把训练往自家评测格式上靠，比较分数之前，先得搞清楚尺子。

污染问题更糟。AI2 给所有训练数据做了去污染，标准是某数据集与测试集的精确 prompt 重合超过 2% 就整个剔除。结果发现，OpenInstruct、NVIDIA 的 Daring-Anteater、Hugging Face 的 NuminaMath TIR 都有数学污染。NuminaMath 那份甚至是给 Kaggle 竞赛用的，压根没考虑公平评测。

更麻烦的是，你没法知道对标的模型有没有偷看测试集。Lambert 的 RewardBench 项目最近就发现自家评测 prompt 被污染：有人用 MagPie 方法（操纵聊天模板，让模型自己吐出训练分布内的 prompt）生成数据，结果把测试题吐了出来。这个本来用来造训练数据的方法，歪打正着成了审计模型是否作弊的工具。

所以 Tulu 3 除开发用评测集外，还留了一套从未公开的评测，并顺手发布了几个热门数据集的去污染版本。Lambert 判断，评测的价值和成本都在涨，这个行业需要事实来源，未来会 mix 出新创业公司、学术研究和针对污染的监管。

RL 跑过头，模型学会说「等等，我再查一遍」

全期最像科幻的片段：AI2 把 RLVR 的数学训练跑得远超必要时长（此时其他评测已经全面崩掉），模型开始在思维链里停下来，重做推理步骤，冒出「wait，让我再检查一下」。这跟 OpenAI o1 发布时展示的标志性表现如出一辙。

冷水也得泼：这是 n=1 的观察，模型已经过训，正常能力崩了。而且有人反馈，把 Llama 的温度调高也能看到类似行为，之前争议缠身的 Reflection 70B 原理上也沾边。

但 Lambert 对 o1 的判断很干脆：o1 大概率就是大规模强化学习加验证器，在多个领域同时训练，没什么障眼法。o1 被官方描述为「专注推理任务的大规模 RL 系统」，各家实验室肯定在做类似的事，代码上尤其明显。他预计 Anthropic 和 Google 的对等产品几个月内就会出现。

RL 的另一面是钻空子。要求回答至少 100 词并包含某个词，模型就把那个词打印 100 遍然后停笔。Lambert 把推理时计算和 RL 视为近亲：对同一个 prompt 多采几个回答本质是探索，推理时计算讲究怎么采样、重加权、中断，找到对的完成，蒙特卡洛树搜索那类思路都在这个方向上。

他还给了一个 KL 散度的参照系：聊天场景的 PPO，KL 通常在 10 到 20；他们做 GSM8K 的 RL，KL 只有 1 左右。这种训练对模型的改动其实很小，靠 KL 预算锚定在 SFT 模型附近。让他感慨的是另一件事：预训练加 SFT 之后直接换一个损失函数上 RL，模型居然不崩。这让他对 Dario 那种「模型就是想学」的世界观多了一份同情。

开源阵营的坏消息是，OpenAI 不公开 o1 的推理轨迹，人类标注又贵到 AI2 承担不起，这条路的燃料可能断供。好消息是录制前几天，DeepSeek 发布了 o1 风格的 DeepThink，展示推理过程，并称将开源。主持人补了一句：这会让所有相信西方公司能一路领先到 AGI 的人重新掂量自己的假设。Lambert 的复现路线图也给了：先造像样的种子数据，用模型修改和续写思维链，再在能验证的领域上做 RL。他预计社区能搞定，存在性证明已经摆在那了，Llama 405B 也还是可用的开源底座。

10 到 15 个人的混乱工程

组织方式也值得记一笔。团队没有严格分工，站会自嘲为「混乱」：坐下写更新，然后 50 分钟纯粹的技术信息轰炸。前期是算法探索，有人试拒绝采样（结论是负结果：8B 模型自己生成的指令还不如起点数据，砍掉），有人对比 DPO 变体；中期转向定向造数据，对着评测薄弱项补；后期收敛，定稿、跑种子、合并。长上下文、多轮对话这些方向也被砍了，理由一致：没有满意的评测。分布式协作里必须有一个事实来源，评测就是那个事实来源。

模型合并这条经验很实用：同一份 SFT 数据跑 3 到 5 个随机种子，合并或者直接挑最好的那个，经常是性价比最高的操作。

Lambert 还提了一个没法量化的问题：角色一致性（character）。Claude 有一以贯之的性格，Tulu 3 没有，因为性格没有评测指标。给一个 4 个月的项目立项「把模型性格调到恰到好处」，CEO 会问你在干什么。学术界靠评测活着，Anthropic 靠高层拍板「Claude 应该是什么样」，两条路各有各的走法。

明天就能用的东西

如果你要微调模型干活，这期能直接抄的作业有这几条：

• 先抄数据，再谈配方。Tulu 3 的数据集全部公开，换个底座直接用，能拿到 80% 到 95% 的性能。想再往上抠，才需要针对底座做几轮数据混合实验。
• 把预算砸向数据，别砸向算法。换算法是 1% 的事，数据策划是 14% 的事。针对你要的能力定向造数据，需要的量其实不大。
• 偏好数据用模型自己生成的。拿你微调好的模型跑出多个回答，再用 LLM 裁判打分，比下载现成的偏好数据集效果好，这个结论被反复验证过。
• 能用代码验证的任务，上 RL。数学、格式约束、代码这类有客观答案的任务，可验证奖励的 RL 能白捡分数，而且 KL 花销很小，不容易把模型训崩。AI2 还放了个「LLM gym」式的开源仓库，加个约束就能训。
• 做垂直场景，从 Instruct 模型开始微调就够了，不必复刻整套 Tulu 流程；从底座训起是生态建设的事，交给 AI2 们。
• SFT 跑 3 到 5 个种子再合并，有时候最好的那个种子比合并还强。
• 去污染你的训练数据，跟测试集精确重合超过 2% 的数据集直接扔。不然你优化的是记忆，不是能力。
• 多看模型的原始输出。o1 式的「等等我再查一遍」就是团队里两位 RL 负责人翻生成结果翻出来的。数据里藏着的东西，比任何评测分数都多。

一句话收尾：后训练的护城河已经从算法转移到了数据和评测。这两样东西，开源社区第一次和巨头站在了同一条起跑线上。