推理时用梯度下降“记笔记”：Titans把大模型长上下文推到1000万token

1000 万 token 的长文本，GPT-4 的成绩会掉得很难看。康奈尔大学博士生 Ali Behrouz 拿出的 Titans 架构，用很小的参数量跑到同样的长度，准确率还剩约 70%。200 万 token 以内，它把一排主流对手甩在身后。

Ali 最近上了 Nathan Labenz 主持的播客 Cognitive Revolution。Nathan 是创业者兼 AI 投资人，长期盯着大模型的记忆问题，他给这个方向起了个名字：记忆的缺失中间层。模型权重里焊死了世界知识，上下文窗口里放着工作记忆，中间缺的那层，是持续演化、能记住“我是谁、我做过什么、我要去哪”的长期记忆。

论文标题叫 Learning to Memorize at Test Time，在测试的时候学会记忆。训练结束了，模型还在继续学，学的对象就是它自己的记忆。这是整篇论文最核心的一步。

模型知道整个互联网，却不知道你这家公司

Nathan 开场先讲了笔账。经济学家 Tyler Cowen 最近在一个有影响力的场合当起“反向奥普拉”，指着听众反复说：你才是瓶颈。他还有句更出名的名言：context is that which is scarce，上下文即稀缺品。这句话放在人身上有点玄，放在 AI 身上一听就懂。

今天的模型装着超人类体量的世界知识，开箱即用，却对你、对你服务的公司一无所知。有用的上下文散落在 Slack、邮件、文档、GitHub、会议记录、任务系统里，人工整理极其繁琐。Nathan 说，直到 Gemini 2.5 Pro 这一代，认真喂上下文才开始得到像样的回报。个人用户已经能从 ChatGPT 的记忆功能里瞥见一点未来，但能在规模上好用的产品化版本，他一个都没见过。

所以他把账算到了企业头上。假如给 GE 或者 3M 训一个专属模型，让它对这家公司的产品、历史、团队、流程、财务的了解程度，和它对整个世界的了解程度一样深，启动成本大概几百万到上千万美元，正好是 OpenAI 定制模型业务公开定价的量级。他还补了个扎心的事实：没有任何一家的私有数据量，超过现有大模型训练语料的 1%。小公司数据少，按微调价格推算，几万到十几万美元就能起步。一家百年企业换一个能空降上岗、自带全部公司记忆的员工，怎么算都划算。

Nathan 的判断是，挡在“即插即用知识工人”和长跑型智能体前面的，可能就是长期记忆这一个技术缺口。外挂脚手架补不上，得动模型本身。

把记忆做成一个会学习的神经网络

现有方案分两类。RAG 把数据明着存起来，用向量或图检索去查；Mamba 这类状态空间模型把记忆压成一个数字矩阵，每步前向传播时更新。Titans 换了条路：记忆模块本身是一个神经网络，在推理时用梯度下降实时更新自己的权重。之前的架构里，记忆只是一堆被动存取的数字；现在，记忆内部的信息会互相作用。

Ali 的路径很清晰。传统 RNN 的记忆是一个向量，线性注意力的记忆是一个矩阵。那大脑的记忆是什么形状？他读硕士时做图上的异常检测，后来发现这些任务和神经科学的脑疾病研究有联系，一路学下去，认定记忆是一大片互相连接的神经元，也就是一个网络。拿向量或矩阵当记忆，在他看来是把问题过度简化了。

"人类的学习是几百万年进化调出来的。很难相信我们能不经过那些步骤，凭空设计出一个更高效的架构。至少现在，得先向大脑抄作业。"

读写机制可以讲得很简单。写入：来了一条数据，把它的键（key）喂给记忆模块，训练它输出对应的值（value）。读取：新 token 来了，把它的查询（query）送进去做一次前向传播，拿回历史上相关的信息。记忆是向量就做乘法，记忆是网络就跑前向传播，就这么回事。

Nathan 准备这期节目时，用 Grok 3 陪自己啃论文里的数学，啃完总结出一个直觉：注意力机制本质上是一张联想记忆，键和值成对存储，查询来了按相似度取回值。Titans 的记忆模块学的就是同一件事。注意力是这道题的非参数精确解，一步到位，但内存随序列长度平方涨；RNN 是用梯度下降一步步逼近它，牺牲一点精度，换来常数级的开销。照着“查询找键、取回值”的直觉设计新架构，做出来的东西真能跑，那这套教科书直觉大概率没骗人。

Ali 还给了一组对应：RNN 的记忆天然衰减，像人的长期记忆，20 年前的事记不清、会幻觉；注意力精确无遗漏，像短期记忆，过去 30 秒听到的话你不可能记错。两种记忆之间怎么互传，连神经科学界都还在吵，这正是留给架构研究的空地。

惊讶的事才值得记，而且要连着记一段

记忆有限，就得挑着写。Titans 的挑选标准写在公式 13 和 14 里：先把旧记忆按比例衰减，再加一个更新项。更新项由两部分组成，当前 token 的损失，加上一个动量项。

损失就是惊讶度。一个 token 预测不准，等于它出乎意料，值得用力记。动量项管的是后半段：一个惊讶的 token 往往是一段情节的开头，后面跟着解释它的内容，这些内容本身不惊讶，但也得一起记住。

Ali 举了个例子。同事说“我要走了”，下班时分讲这句话毫无信息量；如果他是辞职，这句话就炸了，而且接下来他解释原因的每一句都重要。区别全在上下文里。

Nathan 的例子更狠。9·11 那天他在上高中：谁告诉他消息、当时站在哪、下一节什么课、课上聊了什么、晚上和当时还是女朋友的妻子说了什么、父亲几点到家，一整天的细节都在。前一天和几天后的事，早忘了。一个高惊讶度的 token，会把之后一整段情节的写入权重都拉高，动量项模拟的就是这个心理过程。而且惊讶度本身也会随时间衰减，情境变了，旧惊讶就该降温。

顺带一提，公式里的衰减率、更新强度、动量系数全是可学习参数，而且逐 token 依赖输入。Mamba 的输入依赖状态更新已经算细了，Titans 更进一步，连忘多少、记多狠，都交给当前输入现场决定。

三种拼法，学界最常用的那种几乎全输

长期记忆模块造好了，怎么和注意力拼到一起？论文试了三种：

• Memory as Context（MAC）：长期记忆先按当前输入取出相关历史，塞进上下文；注意力决定看现在还是看过去；注意力的输出再反过来告诉记忆什么值得存。两边互相帮忙。
• Memory as Gate（MAG）：长短记忆当两条并行分支，各自处理同一份输入，末端拼接或相乘。
• Memory as Layer（MAL）：记忆层和注意力层交替堆叠，这是学界做混合模型最常用的做法，Mamba 夹注意力层就是这一路。

结果有点打脸。约 9 类任务、3 个模型规模，30 来个组别里，MAL 只赢了大概 2 个，剩下的大头被 MAC 和 MAG 对半分掉。大家默认的“交替堆层”混合方式，恰恰是表现最差的。Ali 说这是论文最想传递的信息之一：混合的方式本身值得重新设计，别接着默认堆层。

长上下文任务里 MAC 尤其关键。记忆模块负责把历史压缩成固定长度的摘要交给注意力，注意力只看一个固定的局部窗口，两边都不吃力，长度泛化自然好。MAG 和 MAL 在长文本上掉点明显。1000 万 token、70% 准确率，就是 MAC 跑出来的。Ali 特意提醒，这是合成数据集上的结果，别直接外推到通用任务。

还有个容易被忽略的细节：架构里那组“持久记忆”，是一段可学习、与输入无关的权重，每一步都垫在序列最前面。这个想法来自一篇比 Attention Sinks 更早的工作，思路是把 Transformer 里的 MLP 看成另一种注意力，把 softmax 换进去，就等价于在序列开头拼几个可学习参数。实测提升很小，但无害，还能防止注意力过度偏袒序列开头的 token。

证明做不了的事，ChatGPT 偏偏做得到

对话里最有嚼头的一段是理论。有篇论文叫 The Illusion of State in State-Space Models，证明对角化的状态空间模型（Mamba、RetNet、S4、S5 这一类）和 Transformer 都被限制在 TC^0 复杂度类里，做不了状态追踪。Ali 给了个直观版本：你站在原点，模型读一串“向左走、向右走”，最后问你现在的位置。对角 RNN 和 Transformer 原则上答不了，非线性 RNN 用一层就能解出来。Titans 的裸记忆模块恰好是非线性 RNN，DeltaNet 这种非对角线性 RNN 也能做。

Nathan 当场追问：o1 这类推理模型，多烧点推理 token，是不是也能绕过去？Ali 承认理论框架做了简化假设，实践里大模型确实经常能完成这些任务。网上吵“论文证明 Transformer 做不了 X”和"ChatGPT 明明做到了"，多半是两拨人在说两种东西：一种是有保证的稳定做到，一种是大多数时候做到。两种标准都成立，只是很少有人把话说全。

规模问题也有反直觉的图景。Ali 提到 Mixture of Mamba 论文里的一张图：训练数据少的时候 RNN 系占优，token 拉满后 Transformer 反超。而 Titans 在他们测过的每一档数据量上，都稳定压着两边。学术圈很少讨论这类现象，因为没人烧得起多档训练预算，固定一档 token 数训练，是论文的默认姿势。

Nathan 还提了个观察：Mamba 2 的状态更新比 Mamba 1 更粗糙，却训出了更好的模型，因为省下的算力换来了更多训练量。架构设计永远被硬件牵着走。Ali 的回应是，这些模型在数学上都连得着，差别常常只是几项组件，但一个新视角带来的后续研究，比一个具体模型值钱。Transformer 自己也一直在被改进，Flash Attention 就是例子，没有哪个架构是终点。

接下来的硬骨头，和明天就能用的三件事

数据够不够长？Nathan 问得直接：互联网上几乎没有百万 token 级的序列，长程智能体需要的训练数据根本不存在。Ali 的回答是不用硬凑，关键是长度泛化。MAC 架构在普通长度上训练，就能外推到长得多的序列，注意力窗口保持 32、128、512 到 8192 都行，剩下的交给记忆模块。

现成模型能不能改装？Nathan 问能不能给 Llama、R1 这类开源模型加装这套记忆。Ali 觉得原则上可行：MAC 设计里，注意力的训练窗口和记忆容量是解耦的，接着训练一段，让模型学会“看”记忆就行。

真正的硬骨头是灾难性遗忘。模型长期做测试时训练，学新任务会把旧的忘掉。Ali 说这个问题目前没有好答案，谁解决了它，机器人、强化学习这些领域会一起被撬动。实现层面倒是乐观：梯度更新可以改写成矩阵乘法，衰减用对角矩阵，动量项本身是个线性 RNN，用并行扫描就能并行。他们没做 kernel 级优化，速度已经压过 Mamba，认真优化后追平最快的线性 RNN，在他预期之内。

整场对话里，Ali 反复强调这篇论文的定位：提供新视角，指出一条往下走的路，实现刻意选最简单的，等着后人改进。他不站“取代注意力”的队，注意力对 token 依赖的精确建模丢不得；他站混合，站向大脑抄作业。

Nathan 在开场说，长期记忆可能是 AI 经济价值拐点前最后一块主要的技术拼图。Titans 没把它拼完，但它把拼图从“检索一堆文档”变成了“训练一个会自己长记忆的网络”。

挑三件明天就能用的：

• 评估长上下文模型时，把测试长度拉到实际用量的 10 倍再下结论。厂商标称的窗口和真实的长度泛化是两回事，论文里掉点最狠的模型，参数表都不难看。
• 做智能体记忆的，直接抄“惊讶度”这个直觉：意外事件连同它的上下文一起高优先级写入，日常流水账低优先级、快速衰减。这是 Titans 更新规则里最值得搬的部分。
• 想啃论文的，直奔公式 13、14 和 MAC 架构图，Nathan 说啃完这两处全文就通了。数学过不去，找个推理模型陪你逐行过，他自己就是这么干的。