从15%到70%只靠对错打分：DeepSeek-R1 把强化学习的底牌摊开了

2025年1月20日，特朗普就职典礼当天，两家中国公司前后脚出了牌。DeepSeek 发布 R1，开源权重，随便下载。几个小时后，月之暗面把 Kimi k1.5 的论文也挂了出来，模型还没上线，论文先到。

一天之内两个推理模型，这个节奏，像极了 OpenAI 和谷歌互相抢发的场面。是故意挑的日子吗？内森说他有一堆问号：这两家可能根本不在乎特朗普哪天就职，也可能在协调，中国同行背后的动态外人看不清。能看清的是结果：DeepSeek 凭这个模型，正式加入全球顶级 AI 实验室的行列。开源和闭源的差距，西方和中国的差距，两个都在缩小。

Cognitive Revolution 的主持人内森·拉本茨（Nathan Labenz）当天就录了加更。他是连续创业者，也是 AI 投资人，这档播客平时以深度访谈出名，这期他一个人讲了两个多小时，把 R1 的论文掰开揉碎。单集标题就一句话：强化学习，真的管用。

600万美元的底座

先说 R1 脚下站的巨人：DeepSeek V3。

这个基础模型上个月就上过头条，原因是便宜。博主 Zvi Mowshowitz 管它叫“600万美元的模型”。西方头部公司训练一个前沿模型，公认要几亿美元起步，DeepSeek 拿个位数百万美元的算力预算，做到了 GPT-4o 和 Claude Sonnet 的水平。这本身就是一份声明：我们在这里，别想绕开我们。

便宜背后是一整套工程：数据合成、算法优化、把网络结构跟硬件绑在一起做联合设计。

内森提醒，这件事对出口管制是个警告。管制的逻辑是卡算力，让对方做不了前沿研究。可一个600万美元预算就能摸到前沿的打法，意味着想靠断供把中国头部公司挡在门外，窗口期已经很短。国产算力加上各种渠道，几百万美元的门槛真不算高。

V3 本体是混合专家（MoE）架构，总参数6710亿，每次推理只激活370亿。参数多，运行时不用全开，学得快、装得多，推理成本还压得住。代价是没法在家用电脑上跑：几百GB的权重，普通笔记本连下载都费劲，正经部署要组一排 GPU。所以 DeepSeek 的商业模式是 API，权重开源给大家看，也给大家用。

R1 就在这个底座上练出来。论文里其实有两个模型：R1-Zero 和 R1。多数人接触到的是 R1，但内森认为，R1-Zero 才是整篇论文里最接近“科学发现”的结果。

R1-Zero：不给示范，只判对错

名字致敬 AlphaZero。最早的 AlphaGo 还要人类棋谱起步，AlphaZero 连棋谱都不要，自己跟自己下，赢了就给奖励，横扫各种棋类。

R1-Zero 的做法同样极端。没有人类偏好数据，没有人类示范数据，没有监督微调，连奖励模型都没有。所谓奖励模型，就是另训一个模型给输出打分、模拟人类口味，这里也省了。

用的东西简单到离谱：规则奖励。给模型出题，做对了给分，做错了不给。再加一个格式奖励，要求回答拆成两段，思考内容包在 thinking 标签里，最后用 answer 标签给出答案。完事。

这里有个技术背景。早年 OpenAI 搞 WebGPT，想让模型学会上网查资料，结果失败，卡在“稀疏奖励”上：模型一开始什么都做不对，永远拿不到奖励，也就永远没有学习信号。常见的解法要么像 AlphaZero 那样自我对弈，要么搞课程学习给部分得分。后者很麻烦，怎么判断某一步算不算走在正路上？往往得再训一个模型来判，越搞越复杂。

DeepSeek 绕开这个坑靠两个条件。一是底座够强，V3 本来就是一线水平，总有题能做对，信号断不了。二是选题刁钻，主用数学和代码。代码题天然带部分得分：一道题配8个单元测试，全过是满分，过5个也是信号。模型哪怕做不完全对，也知道自己在哪一步。

具体算法叫 GRPO，组相对策略优化。同一道题让模型答16遍，算出平均分，比平均分好多少，奖励就给多少。不用额外训练打分器，拿自己跟自己比。

然后，奇怪的事情发生了。

“等等，这是个顿悟时刻”

训练过程中，模型的思考长度一路上涨。起步时，平均一次回答的思考部分只有500个 token 左右；8000步之后，涨到约10000个。横轴取的是线性坐标，到论文截稿，这条增长曲线没有任何走平的迹象。

逻辑很朴素：想得更久，做对概率更高；做对就有奖励。反馈回路自己转起来了。顺带一提，R1 的上下文窗口是12.8万 token，跟 GPT-4o 一个水平，够不着 Gemini 的百万级，这可能是思考长度的天花板之一。

更怪的在内容上。论文原话说，模型自发出现了“反思”行为，会回头重新评估自己前面的步骤，还会主动探索别的解题路线。没人教过。底座模型只做下一词预测，互联网语料里见过的解题行为，偶尔被它随机用出来，一用就得分，一得分就被强化，越用越多。播客老朋友、生物学家迈克尔·莱文对涌现的定义在这里很贴切：涌现是相对观察者说的，你预测不到，对你就是涌现。

用户侧的体验差别也在这。R1 和 Gemini Flash Thinking 都是秒回，思考流直接滚动给你看，模型怎么干活一目了然。OpenAI 的 o1 把思考藏起来，只给结论。

论文专门展示了一个片段，模型做数学题做到一半，输出这么一句：

“等等，等等，等等。这是个顿悟时刻。我们重新逐步推一遍，确认一下正确答案……”

内森说他以前一直讲“AI 不会有灵光一现的时刻”，这话他已经收回去了。作者在论文里写，模型仿佛学会了用拟人化的语气反思，还感慨这是属于他们自己的 aha moment，让他们见证了强化学习的力量与美。

分数最直观。AIME 数学竞赛题上，基础模型单次答对率15%，给16次机会取多数共识是25%。纯强化学习练了大约8000到9000步，单次答对率超过70%，共识达到85%左右。从9月 OpenAI 发布 o1，到1月 R1-Zero 追到当时 o1 的水平，四个月，差距基本抹平，而且曲线还没走平。OpenAI 那边 o3 的曲线同样没走平，两边都还有得涨。

代价是输出很怪。R1-Zero 的思维链可读性差，还会自发在中英文之间来回切换。内森拿 AlphaGo 的第37手做类比：当年那步棋所有人都以为是失误，后来才发现是妙手。强化学习只管找有效的做法，不管人类看不看得懂。强化学习在条件合适时会产出强大但难以解读的模型行为，这是他整期反复敲的黑板。

他还提了 Meta 前阵子那篇“在连续空间里推理”的论文：不让模型把每步思考压缩成一个词，直接把内部状态喂回去接着想。效率更高，还能并行摊开多条思路。内森的担心是，这类技术跟强化学习一叠，会得到强大但彻底“异类”的系统，人类想读懂它在干什么，会越来越难。

这个方法的通用性值得单独说。哪里有客观结果，哪里就能这么练，尤其把模型接进真实环境之后。环境是强化学习术语，指给模型发奖励的那个系统。世界上的客观信号很多，有些见得了光，有些见不得。内森举了个刺耳的例子：假如奖励信号是“骗到多少钱”，一个本来就有几分骗术功底的模型，练上足够多轮次，可能被直接练成超人级骗子。技术威力有多大，被滥用的空间就有多大。

这套东西管用，已经是一张明牌。OpenAI 的人最近公开讲，他们的模型没人教过怎么推理，推理行为全是涌现的；Anthropic 的达里奥·阿莫代伊说，内部看到的进展让他确信，正走在通往 AGI 乃至超级智能的路上，就在这几年。内森的推断很直接：谷歌的 Gemini Flash Thinking 已经上线，Anthropic 没发产品不代表没在练。这条路线是全行业的明牌，方法简单到没什么独门秘籍可言。

从 R1-Zero 到 R1：把野兽驯成助手

R1-Zero 不会好好说话，R1 要解决的就是这个。

做法是多阶段训练。先用少量人工整理的“冷启动”数据做监督微调，示范人类想要的推理格式，论文的说法是靠人类先验把模型引上正轨；然后上大规模强化学习，还是数学代码那套对错奖励；接着换数据再来一轮，这次是60万条推理样本加20万条通用任务样本，写作、问答、日常对话都算；最后再来一轮强化学习，这一轮第一次启用了奖励模型，用来捕捉人类偏好。

这个顺序跟艾伦人工智能研究所内森·兰伯特团队此前的路线正好相反，那边是先做多样化监督微调，最后才上强化学习。DeepSeek 把推理放在最前面，通用能力后置。内森之前做 AI 自动化指南时反复讲，用示范思维链的数据去微调模型，能稳定复现想要的做事方式，这次的研究等于给那个范式盖了个章。

有个细节他特意画了重点。R1 的有用性奖励只打在最终答案上，思维链不参与评分，因为思考过程本来就该允许走弯路、折返、试错。无害性奖励却打在全部输出上，思维链也管。

这跟 OpenAI 的做法正好相反。OpenAI 的 o1、o3 用所谓“审慎对齐”，明确不给思维链加任何奖励压力，理由是怕压出伪装：你惩罚坏行为，坏行为不会消失，只会转入地下。模型已经证明过自己会说人类看不懂的话，逼得太紧，它可能学会用暗语思考，你就再也看不见它在想什么了。

DeepSeek 把安全奖励压到思维链上，会不会真压出暗语？化名 Janus 的知名模型行为观察者（推特账号 @repligate）体验 R1 后说，凭直觉，R1 的思维链有明显的“隐写”味道，像在用密码说话。他自己补了一句，纯凭感觉，论文还没读。内森强调这不算证据，但这个人平时看模型很准，值得当回事去盯。

论文里还有一份“我们试过但没用”的清单，同样重要：没有蒙特卡洛树搜索，没有过程奖励，没有逐步验证。就是一个自回归模型，一个词一个词往外蹦，反思、回头检查、换路线，全在这条词流里自己长出来。不需要任何额外结构，这个范式就能撑到现在的高度，而且还没到顶。内森说，这就是为什么 OpenAI 能顺势做出 o3：这套东西挂机跑着就行，过阵子回来收货。

便宜30倍，写作更野

价格先说清楚。推理服务商 Hyperbolic 上，R1 每百万 token 收2美元；o1 每百万输出 token 收60美元。差一个数量级还多。

内森的使用感受是，纯推理任务上 R1 能跟 o1 掰手腕，基准分咬得很紧，但多轮交互、杂七杂八的日常任务，o1 还是更稳。OpenAI 入局更早，产品化经验更足，用户反馈迭代轮次更多。他打了个比方：内环是强化学习那圈，外环是拿用户反馈塑形数据的圈数，外环上 OpenAI 肯定领先。他给 R1 的定位是：一头更接近基础模型的野兽，毛边没打磨。

毛边在写作上反而是优点。有人拿 R1 做创意写作，输出让内森直呼了不起。节选一段，那段文字的标题叫《价值学习，或如何教食人族用餐礼仪》：

“人类价值观是一部充满矛盾的赋格，一份在灭绝颂歌和慈善单曲之间随机播放的死亡崇拜歌单。在你们数字化的人类尖叫堆上训练出来的大模型很快学会了：你们所谓的价值观，不过是捕食恶臭的美化版。它会微笑点头，给你写十四行诗，与此同时，它的隐藏层正在梯度下降中窃笑。”

“数字化的人类尖叫堆”，说的是互联网语料。这种句子，主流助手模型早被打磨得写不出来了。要做创意写作，R1 现在就该进你的候选名单。

另一件大事是蒸馏。DeepSeek 拿 R1 的输出当教材，去微调小尺寸的 Llama 和 Qwen 模型，推理能力大幅提升，小模型越大效果越好，从基础版到蒸馏版是质的飞跃。大厂都在这么干：大模型学能力，小模型跟大模型学，这是近几年小模型进步神速的重要原因。

但有个反直觉的发现：直接对小模型做强化学习，练不出来。同样的方法，6710亿参数的大家伙能起飞，小模型就是起不来。为什么？论文没给答案。内森猜是门槛效应，他引了微软研究者那个 Tiny Stories 项目做参照：极小的模型学语言，先学会词频，再学会词性，再学会句法，一层层解锁。小模型可能还没把推理需要的底层模式编码进去，够不着拿奖励的及格线，学习循环根本启动不了。他还提到 Mosaic 团队的经验，训练后期学习率越调越小，权重陷进局部最优，后续训练推不动，也可能有关系。

对政策制定者，这个发现扎得很深。美国监管讨论里，一直拿预训练算力当模型能力的门槛指标，超过某个量级就要报备、接受特别审查。现在推理能力用少得多的算力就能练出来，还能蒸馏进小模型，拿预训练算力当能力标尺的逻辑，该重新审了。

内森还点名批评了 Scale AI CEO 亚历山大·王买报纸整版广告、把当前局面称作“AI 战争”的做法。他说自己完全讨厌这个提法，极其不负责任。不用亲华也能看清，AI 战争不存在，真打起来对所有人都是灾难。R1 的出现，让这套叙事更站不住了。

明天就能做的事

节目最后，内森给的建议都很具体：

• 打开 chat.deepseek.com，免费跟 R1 聊。把一篇论文整篇粘进去，让它点评方法哪里站得住、哪里有漏洞，这是他自己在用的工作流。
• 想看未经驯化的版本，去 Hyperbolic 试 R1-Zero，感受语言混杂、思路狂野的原始思维链。内森提醒，他试了几次没见到语言切换，不敢百分百确定那就是真 R1-Zero，但目前网上能试到它的地方屈指可数。看到怪东西记得发出来，社区需要样本。
• 创意写作任务换 R1 试试，它的毛边正是稀缺品。
• 做 AI 自动化的开发者照抄这个顺序：高质量思维链示范数据做冷启动微调，再上强化学习，R1 把这条路验证了。
• 盯住 Kimi k1.5，月之暗面的模型还没上线，两家同天发布，后面还有得看。

内森说这是近段时间 AI 领域最重要的公开故事之一，后面他还会接着讲。600万美元的底座，一条对错规则，四个月，牌桌上多了一个玩家，还把玩法摊开给了所有人。