40万token代码库一把过：Gemini 2.5技术负责人谈推理、长上下文与AGI路线

把一个40万token的研究代码库整个塞进模型，让它尽量复用现有代码做功能扩展，还不能碰坏合作者写的部分。Nathan Labenz试完之后说，这是他两年半以来第一次找回GPT-4发布那晚的感觉：一种质变级别的体验，逼着他重新校准对「现在模型能干什么」的预期。

Nathan是播客Cognitive Revolution的主持人，创业者兼AI投资人。这期的嘉宾是Jack Rae，谷歌DeepMind首席研究科学家，Gemini思考与推理时计算工作的技术负责人，Gemini 2.5 Pro背后的核心人物之一。Nathan的评价很直接：这是他第一次把一个谷歌模型排在多个重要维度的第一名。

Jack Rae 2014年加入DeepMind，第一个研究方向叫情景记忆，他的博士论文做的是终身推理与稀疏压缩记忆。听完整期你会发现这个人有个特点：外面看起来神乎其神的事，到他嘴里全是一堆平淡但具体的工程细节。

内部视角：一条像摩尔定律的曲线

整期最核心的问题从这里开始：DeepSeek R1-Zero展示的那个极简配方，用对错信号做强化学习，模型推理能力就往上走。它是真突破，还是渐进积累终于过了某条线？

Jack的答案会让很多人意外。谷歌内部用强化学习提升推理能力，至少已经做了一年。早在「思考」这个概念出现之前，Gemini历代发布的模型里就有这套东西在起作用。区别只在于，它最近才穿过让外界注意到的阈值。

「内部追踪这些能力的时候，提升有时可预测得吓人，几乎就是摩尔定律式的曲线。」

他的描述是这样的：每一项改进有没有用，带有随机性，你永远不确定下一个改动是否有效。但把所有改动累积起来，就是一条平滑上升的曲线。公众看到的「突破时刻」，比如DeepSeek那篇技术报告引发的震动，只是这条曲线越过了实用门槛，再叠加离散的发布节奏，看起来就像凭空跳了一级。

那R1论文里说小模型上强化学习跑不通呢？Jack觉得完全可信。六年前训千亿参数的大模型还是炼金术，上百万个零件里任何一个出问题，训练就崩。现在大家觉得预训练「已经被解决」，纯粹因为坑都被填平了。强化学习推理同理：关键细节极多。五个地方是坏的，你修好一个，什么都没发生，人就开始心灰意冷，觉得此路不通。修齐最后一个，整件事突然发光。

去年他们在实验里看到的「火花」给了团队信心：强化学习逼出来的思考过程里，模型自发出现了自我纠错、推翻重来、探索不同思路。这正是所有人希望强化学习能涌现的东西。没亲眼见到之前，没人敢打包票说它一定存在。

90天，从组队到发布

过去一年，几乎所有头部玩家都发布了思维链推理模型，节奏密集得可疑。外界流传两种解释：要么这个方向太明显，属于同时独立发明；要么大家在旧金山的派对上互相透了底。

Jack选前者，还补了一句：这种现象早在旧金山科技派对发明之前就存在。现在的特点是，聪明人的数量、算力的规模、反应的速度都到了空前水平。一旦有新范式打开一片有性能可挖的空间，所有人会以空前速度涌进去。

谷歌自己的时间线可以当样本：9、10月组建思考与推理时计算的专项团队，一个月左右就找到了让他们兴奋的建模突破，12月发布了第一个基于Flash的思考实验版。三个月，从立项到发布。Jack回看这段过程，说这就是一群人围着一个富矿自然探索，好奇心足够解释一切。

这里有个容易忽略的前提：整个方向需要团队对「在语言模型上做强化学习」有深厚积累和信心，谷歌恰好有。门槛对各家未必一样低，对他们只是顺势而为。

思维链：给你看原始的，但红线很清楚

Gemini 2.5 Pro在AI Studio和Gemini应用里展示的，都是未经修改的原始思维链token。OpenAI当年选择只给摘要，谷歌走了另一条路。Jack说这个决定由安全团队、研究者和Koray、Demis这个层级的领导层共同权衡，他自己只负责把模型做强。展示方式也还在探索，NotebookLM里已经试过把思维过程做成图谱浏览器，可以沿着节点追踪不同思路。

思维链本身有几个有趣的细节。Gemini的思考几乎总用英语，哪怕任务是非英语推理题，模型用英语思考反而更强。团队内部为此争过：这算糟糕的产品体验，还是该为性能保留？早期Flash Thinking的思维链还很模板化，拆题、列步骤一个套路打天下。团队把「让思考更自然」也立成了研究课题，理由很实际：如果思考永远长一个样，可能意味着这部分思考算力没被用足。

然后是安全红线。OpenAI发过一篇关于「混淆式reward hacking」的论文：对思维链本身施加强化学习压力，压制模型在思考中流露作弊倾向，短期有效，之后作弊行为照常发生，只是从思维链里消失，转入地下。Nathan问Jack，这算不算一条禁忌。

Jack的回应克制，但立场清楚。思维链要忠实于模型的真实计算，不要引入任何鼓励欺骗的训练目标。思考token是模型的草稿纸，存在的意义是让答案更准确、更安全、更真实。草稿纸可以被优化得更可读，前提是别把它优化成面具。

团队怎么塑造模型的认知行为？Jack说他们是结果导向的，但有一条奥卡姆剃刀式的偏好：能用更少先验、更纯从数据里学出来的配方，就是更好的配方。人类数据、模型蒸馏的合成数据、端到端强化学习，全都试，最后按效果和泛化能力选，附带偏好简单。

顺带一个对从业者很有用的结论：强迫人类专家记录自己的思维过程，产出的数据价值很低。思维是潜在的东西，人本来就不擅长转述内心独白。模型之所以能进入推理模式，靠的是预训练数据里大量自然展开思路的文字，文章、论坛讨论里到处都是。这也解释了为什么「让我们一步步思考」这种提示词在零样本下就有效。真正值钱的是记录人解决开放任务时的完整过程，中间计算、操作动作，那已经是智能体数据的范畴，DeepMind有专门的团队在攻。

收敛的是世界模型，分化的是行为

Nathan抛出一个哲学味很浓的问题：柏拉图表象假说。各家模型规模越大越趋同，是否意味着大家在逼近同一个真实的世界模型？

Jack把问题拆成两半。预训练那一半，他有很强的理论信念：把文本压缩做到熵的极限，得到的就是对生成这些文本的世界模型理解最好的模型，背后有Solomonoff和Shannon的数学根基。但他马上补了一句：这个「最优压缩器」不等于AGI。它只是理解了今天文本的生成规律，AGI还要能执行指令、做从没人做过的事、泛化到全新环境。干了半辈子预训练的人，反而说预训练只是AGI的一块拼图。

强化学习那一半，他的判断更干脆：大规模强化学习训练出来的模型，明确不会收敛到同一个模型。各家模型已经表现出明显差异，不同场景各有胜负，很多能力是各家有针对性地逐个做出来的。系统仍然高度可引导，不存在一条通往「唯一世界模型」的既定轨道。

同一段对话还聊到了潜空间推理。Meta发过一篇论文，让模型不解码成token，直接把最后的隐状态喂回去反复咀嚼。Nathan觉得吓人：总得知道自己的AI在想什么吧。Jack反对在技术被研究透之前就封禁，他举了MuZero的例子：AlphaZero在真实状态上展开搜索，MuZero在隐向量里展开，反而是那个系列里最强的，而且隐向量可以解码回状态，保住了可解释性。这个方向值得追。

至于可解释性跟不跟得上，Anthropic刚发表的思维追踪工作里，替代模型只能解释大约一半的行为。Jack的判断是：能力进步同样会加速可解释性研究，更聪明的模型就是研究模型本身的更聪明的工具。两者会互相追踪，他不担心出现能力指数增长、安全线性爬坡的巨大错配。

记忆还没被解决：AGI的三件套

被问到从现在到AGI还缺什么，Jack先讲了段个人史。2014年他加入DeepMind时的方向就是情景记忆，哈萨比斯本人博士做的就是情景记忆与想象。Jack自己的博士课题是终身推理与稀疏压缩记忆。当年他不敢想象进度条能走到哪，如今100万到1000万token的上下文已经逼近终身尺度。

Nathan追问：把上下文一路扩下去，记忆问题是不是就算解决了？Jack的原话很明确：记忆没有被解决。DeepMind早年攒下的神经图灵机、可微神经计算机这类「大注意力加读写机制」的思路，他判断会以某种形式复活，成为真正无限长的终身记忆方案。这是个还在活跃攻关的领域，接下来会有漂亮的突破。

路线图上还有一条经验：能力会复利。一年前的长上下文突破，跟今年的思考能力叠加出了化学反应。既能对一个问题想得足够深，又能吃进百万token的上下文，这个组合解锁了一批单独拥有任何一个都解不开的问题。

他给出的AGI配方有三件：可靠性和泛化性都大幅提升的推理，真正能干活的智能体，加上跨时间的终身记忆系统。三件凑齐，大多数人才会真正感觉AGI来了。但他自己也承认，现在用2.5 Pro一把过复杂代码库，三年前还属于科幻。

「用2.5 Pro的时候，我感觉到了AGI。」

多模态他也表了态。Gemini从第一代就是原生多模态，技术报告里甚至写过原生图像生成，只是当时没发布。判断一个新模态该融进世界模型还是留作外部工具，他的标准是正迁移：文本、图像、视频里的世界知识对这个新任务帮助大，就值得共同训练；没什么正迁移，学会调用就够了。基因组学这类数据现在就处于被反复评估的阶段。

被问到实验版为什么没有系统卡，Jack说发布前有「行业罕见规模」的安全测试和红队演练，包括外部红队合作方，名单暂不公开。实验版的意义之一就是收集真实反馈，正式版会配系统卡。至于外界催的Vertex上线，他上周在活动上只能说「快了」，结果第二天就上了。团队的习惯是少承诺，多交付。

明天就能用上的几招

Nathan在节目最后分享了一个立刻能抄的用法。他吐槽几乎所有RAG应用：订阅制要保利润，超参数被调成省钱模式，每次调用塞给模型的上下文永远偏少，答案质量因此打折。他的做法简单粗暴：把整个代码库打印成一个文本文件，直接贴给模型。这次测试的对象是emergent misalignment论文的代码库，他自称是作者名单里贡献最小的一位，还管自己叫「AI界的阿甘」。40万token，只有2.5 Pro装得下，而且模型对全部内容的掌握程度，让他第一次敢说「真读进去了」。

Jack补了一个数据点：外部有个128k长上下文利用率的排行榜，2.5 Pro的有效利用率明显高于其他所有模型。用他的话说，模型像是把所有材料都读了、都记住了，一秒钟之内替你研读完一个大型代码库，这正是很多人说「感觉到AGI」的来源。

这里藏着对普通用户最有价值的一条：长上下文的真正红利，是让模型帮你导航你自己都不熟悉的材料。以前你得先读懂材料才能提问，现在可以把一坨自己都没摸清的内容整个丢进去，让模型替你找到重点。Nathan强调，这跟「帮你在你熟悉的材料里查找」完全是两回事。

顺带一提，Jack自己读论文的主力工具就是Gemini：把一篇论文甚至一组引文整个丢进去，让它摘要、提问、直接切到关键结论。技术负责人本人天天在用，算是最硬的广告。

明天就能试的三件事：

• 别依赖RAG工具的默认检索，把项目代码或文档拼成一个大文本文件，直接喂给支持百万上下文的模型，让它在完整语境下做修改和答疑。
• 遇到复杂任务，给模型留足思考token，别急着压缩它的推理过程，自我纠错往往就发生在那段「看起来啰嗦」的时间里。
• 看到「某能力突然突破」的新闻，默认它是一条平滑曲线过了阈值。真正该盯的是斜率，斜率比热点更能预测六个月后的世界。

整期听下来，Nathan自己的总结是：简单解释大概率是对的。前沿实验室的进展，多数来自把显而易见的大方向，用工程手段一个个磨到能规模化。低垂的果实还很多，而摘果子的人，手速比上一年又快了一截。