# 训练量不到 GPT-4 的三十分之一，Mamba 第一次在 Transformer 主场赢球

> Cognitive Revolution No. 89 中文精读

- 原标题：Emergency Pod: Mamba, Memory, and the SSM Moment
- 发布日期：2023-12-22
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/089-emergency-pod-mamba-memory-and-the-ssm-moment-X5F2X4.html
- 精读字数：约 5241 字（阅读约 12 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2023 年 12 月，一篇只有两位作者的论文，让以访谈为主的播客 Cognitive Revolution 临时加更了一期单人节目，标题里直接带着 Emergency 这个词。主持人 Nathan Labenz 是创业者兼 AI 投资人，平时每周对话前沿研究者，这次他关掉嘉宾麦，用一整期讲一篇论文。

论文叫 Mamba，副标题是「线性时间序列建模与选择性状态空间」。其中的语言模型只训练了 3000 亿 token，传闻中 GPT-4 的训练量是这个数的 30 倍，Meta 的 LLaMA 2 也有 2 万亿。就这么个小个子，在 2000 token 序列长度上和作者自己调出的最强 Transformer 配方打平，序列拉到 8000 以上开始反超；换到 DNA 建模任务，序列拉到 100 万 token，论文里测的其他所有架构性能全部下滑，只有 Mamba 越长越准。

Labenz 把「会不会出现比 Transformer 更好的架构」称作那个 100 万亿美元的问题，因为那是今天全球经济的体量。他翻过库兹韦尔 90 年代画的指数曲线：2020 到 2025 年间，算力将追上一个人脑。现在看，人类水平的 AI 基本准时到场，只是它和人类很不一样，而驱动这一切的，六年来全是同一个东西，注意力机制。今年也冒出过几个挑战者，微软与清华合作的 RetNet，Meta 的 Lili Yu 带来的 Megabyte 分层架构，都没真正掀翻桌子。

他的判断很直接：**人脑和 Transformer 都不是历史的终点，Mamba 就是那个值得拉响警报的新架构。**

先认识两位作者。Albert Gu，卡内基梅隆大学助理教授，创业公司 Cartesia AI 的首席科学家，推特简介只有一句话：领导状态空间模型（SSM）革命。Tri Dao，即将入职普林斯顿的教授，Together AI 的创始首席科学家，这家公司 A 轮融了 1.025 亿美元。Tri Dao 这个名字如果陌生，FlashAttention 总该听过，那个不做任何近似、纯靠重新调度数据搬运就把注意力计算大幅提速的工作，作者就是他。一个懂架构理论，一个能把 CUDA 代码抠到芯片级，这个组合是理解 Mamba 的钥匙。

Labenz 还提醒了一个历史对照：《Attention Is All You Need》当年并没有发明注意力，它做的是把此前一堆复杂细节抽象掉，证明这个机制本身就够用。**Mamba 对状态空间模型做的正是同一类事**，所以他愿意把它和七年前那篇经典相提并论。

## Transformer 的死穴：每次醒来都失忆

Labenz 用一个小实验开场：听到「彩虹」这个词，脑子里发生了什么。有人看到画面，有人闻到雨后空气的味道，有人想起光学原理，有人想起神话里的约定，还有人想起某次旅行。同一个七字母单词，七字节的信息，大脑调出的是一大片高维联想。而且同一个输入换个上下文，处理方式完全不同，「用神话视角讲彩虹」和「用光学视角讲彩虹」是两套加载。

Transformer 其实也有这个能力，靠注意力机制实现：输入有两条路径影响计算，一条是被处理的数据本身，另一条是决定注意力矩阵的构成。这就是 ChatGPT 换个视角就换一套回答的原因，Labenz 认为这是 Transformer 强大的核心。有意思的还有内部结构：Transformer 每一层长得一模一样，但分工自己长出来了。Anthropic 的影响函数研究发现，小模型靠关键词匹配做浅层关联，几百亿参数的大模型在中间层形成真正复杂的概念关系；ROME 概念编辑可以把「乔丹打过棒球」写进模型的世界观，同时保证伯德和詹姆斯照样打篮球；Dan Hendrycks 的表示工程能在中间层激活里识别甚至操控概念。**结构上没有分工，分工是训练涌现出来的。**

但代价是二次方复杂度，每多一个 token，就要和之前所有 token 算一遍关系。100K token 能装下一本《了不起的盖茨比》，Claude 2.1 做到了 200K，几年前大家还在讨论 2000 token 窗口，更早的 BERT 只有 512。200K 听起来不小，其实也就一本书，或者一期三小时播客的文字稿，远低于一个人每天的信息摄入量。

更要命的是记忆。**Transformer 是一种情节式技术，会话结束，上下文里的东西全部丢弃，下次醒来等于完全失忆。**它没有机制把一次交互里消化过的东西变成可复用的长期记忆。现在所有方案都是外挂：系统提示词、自定义指令、RAG 检索、定期总结聊天记录再喂回去。斯坦福 AI 小镇论文里最有趣的设定，就是让小机器人定期扫一遍记忆日志、合成更高层的记忆，但那仍是语言套语言的有损压缩，本质是补丁。这就是为什么今天的模型做不好长期助手、做不好陪伴、做智能体也磕磕绊绊：它永远无法真正「认识你」。

## 状态不长大，速度就不变

状态空间模型的思路，是在权重和输入之外引入第三个东西：内部状态。每一步计算是「旧状态加新输入」，经过权重，产出两个东西：一个输出 token，和一个更新后的状态，状态一代代传下去。这个思路能追溯到 Gu 和 Tri Dao 更早参与的 HiPPO 论文，用多项式基投影把长序列高效压缩进一个小状态，略带损失但极其有用。

关键在于状态是固定大小的，它变化，但不增长。**状态不增长，意味着每一步推理耗时恒定，不管前面处理过多长的序列。**Transformer 那边，上下文越长计算越贵。长序列任务，比如把无限嵌套的括号正确闭合，一直是老 SSM 的强项，Transformer 反而搞不定。

但老 SSM 有个致命短板：它们是「线性时不变」的。Labenz 打了个流水线的比方，输入在流水线上被完全相同的机器加工，送进来的是什么都不影响加工方式。没有 Transformer 那种双路径，表达力上不去，语言建模一直打不过。

Mamba 的核心改动就一处：让变换参数本身依赖输入，论文里叫选择性（selectivity）。数学上是几行方程的事，概念上很优雅，代价巨大：可并行的卷积形式彻底消失，只剩循环形式，一个 token 一个 token 串行算。按常理这条路走不通，GPU 的价值全在并行上。

这时候 Tri Dao 出场了。他们管这套东西叫硬件感知算法设计，目标机器是 NVIDIA A100，GPT-4 训练用的就是这一代，功率 400 瓦，大约 20 个灯泡，或者说半个电水壶。芯片上有两种内存：HBM 高带宽内存，40GB，模型参数住在这里；SRAM 共享内存，离计算核心最近、速度最快，只有 164KB。164KB 按一个字母一个字节算，比主流大模型的上下文窗口还小，6912 个 CUDA 核心就围着它转。40GB 听着多，GPT-3 的 1750 亿参数权重连一块卡都装不下，参数怎么搬、什么时候搬，全是瓶颈。

**Mamba 的解法是把状态从头到尾焊死在 SRAM 里：参数留在 HBM，状态在最快的那块内存里完成全部演化。**再配上核融合（把多个变换合并成一次）和重计算（反向传播时宁可重算也不搬数据），数据搬运量被压到极限。没有这套底层功夫，选择性机制慢到没法用。代码全部开源。

## 成绩单：主场打平，客场碾压

同 FLOPs 对比，2000 token 序列长度，Mamba 和最强 Transformer 配方基本打平；8000 以上拉开差距，Mamba 的 loss 更低。测试做到 10^20 FLOPs，离 GPT-4 的量级还差五个数量级，但缩放曲线形状一致，Labenz 判断这条优势大概率还会延伸几个数量级。

DNA 任务上，序列拉到 100 万 token，Mamba 性能不降反升，其他架构全部明显下滑。100 万 token 是当时最强 Transformer 上下文窗口的 5 倍，而这只是 Mamba 的第一篇论文。

推理吞吐也赢：一块 A100 能同时跑约 64 路并发推理，同尺寸 Transformer 的吞吐被明显甩开。论文还顺手试了 Mamba 和多头注意力交错混合，性能比纯 Mamba 再好一点。

## 一盆冷水：长记忆不会自动出现

Labenz 没有只念论文，他自己上手测了。社区已经有人微调出 Mamba Chat（Haven HQ 的 Justus Mattern 做的），用 UltraChat 数据集里 1.6 万段对话微调，2.8B 参数的模型约 6GB，Google Colab 免费笔记本就能跑。

结果：500 token 摘要没问题，1500 token 没问题，3000 token 左右开始失去连贯性。一个为长期记忆而生的架构，为什么在长文本上掉链子？他去翻了数据集：UltraChat 对话的平均长度是 1467 token。**架构给了模型携带信息走很远的可能性，训练数据没教它怎么用，长记忆就不会自动长出来。**

另一个短板是结构性的：状态是有损压缩，信息一旦被丢掉就真没了。Transformer 里每个 token 和所有 token 两两计算，往《了不起的盖茨比》里塞一句怪话让它找，注意力大概率能捞出来。SSM 处理到那句怪话时如果没当场识别出异常，状态继续往前走，这段信息就永久消失。**长期记忆的另一面是选择性遗忘，这个权衡目前没有免费午餐。**

速度也要打个问号。论文预期单卡 58 token 每秒，比人阅读快，够用。但 Labenz 在 Colab 只申请到上一代 V100（共享内存 96KB，约为 A100 的六成），实测时快时慢。循环形式天生串行，参数量上去速度就下来，做后台批处理时延迟是真实成本。

## 接下来：从一块积木到两块积木

「Mamba 是 Transformer 杀手吗？答案几乎肯定是没有。」Labenz 说，目前所有测试都在 Transformer 的主场进行：短序列、熟悉基准。真正的机会在于 Transformer 根本做不了的事。他给出的未来分两条线。

第一条是数据。长记忆行为需要专门设计的数据集去教：想要大海捞针能力，就造合成数据，埋异常点，训练模型记住很久之前的反常细节；想让模型学会该忘的忘，可以借鉴权重衰减搞「状态衰减」。他拿人的记忆打比方：记得今天早饭，记得吃过最好的一顿早饭，记得平时早饭吃什么，但记不住每一顿早饭，模式化的细节被自动压缩掉了。他甚至给了配比猜测：**三分之二靠数据集，三分之一靠架构。**想自动化整个岗位而不只是单个任务，还得录制完整的「工作」，别再只录「任务」，把推理过程和更高层的叙事（我是谁、目标是什么）显式写进数据。他在自己的公司 Waymark 微调 GPT-3.5 写视频脚本，直接喂数据没效果，把推理步骤写进去后性能大幅提升。这类叙事数据网上没有，得人造。

第二条是混合。纯 Mamba 赢了 Transformer，论文里那个 Mamba 加注意力略胜纯 Mamba 的小实验，两周内就有了商业回响：Together AI 发布 Striped Hyena 7B，注意力加传统 SSM 的混合架构，7B 参数，API 已经能调，还宣布要把训练量推到 6000 亿 token；几天后又出现 Block State Transformer 论文，把演化中的状态作为全局信息喂给注意力。Together AI 博客里有一句话被 Labenz 专门引用：

> 在缩放实验早期我们就注意到一个稳定趋势：给定算力预算，由不同关键层混合搭建的架构，总是胜过同质架构。

从一块积木到两块积木，组合空间刚刚打开。Labenz 还设想了多状态架构：不同状态各管一摊，有的当内置分类器，有的存安全攻防日志当「运行时免疫系统」。骗过一次是骗子的本事，骗过第二次是自己的错，这句话成立的前提是有记忆，Transformer 没有这个机制，状态可以做到。他拿自己的鱼叉钓鱼演示举例，那招在 ChatGPT 上一直好使，OpenAI 本可以在系统提示词里写一句「禁止钓鱼」挡掉，但把提示词塞满这类补丁是个糟糕的交易，专属状态可以轻量快速地更新。他还举了个智能体的例子：扫邮箱搜索结果时，分出 20 个自己并行翻页，翻完丢弃全部中间过程，只带着相关结果回到主线，上下文和状态都不会被垃圾信息堵住。

硬件也可能跟着变。状态大小成了参数量、上下文窗口之外的第三个缩放维度，而 GPU 上 SRAM 和 HBM 的比例好几代没动过。如果状态要变大，未来芯片也许会重新分配这个比例。安全研究还有个彩蛋：状态是天然的可解释性研究对象，拿表示工程那套方法去读状态里有没有欺骗意图，比在 Transformer 几十层激活里翻找方便得多。但运行时监控有个现实障碍，状态根本不离开 SRAM，想全部导出来看，就违背了整个硬件感知设计的前提。

## 明天就能用上的事

Labenz 的收尾预测：更有效的智能体、更称职的长期助手、更像样的 AI 朋友和陪伴者。**这一切发生的速度，大概是 Transformer 时代的几倍。**理由很简单，Transformer 时代踩出来的路线图，后来者照着走就行。

- 想亲手摸 Mamba：Google Colab 搜 Mamba Chat，2.8B 模型 6GB 就能跑，注意免费版大概率分到 V100，速度参考意义有限。
- 做应用开发的：微调工具链基本兼容，现有数据集直接能用，但别指望长上下文能力开箱即得，训练数据短，模型就短。
- 手里有长序列数据的公司，客服记录、员工培训、诊疗过程，这些数据突然比以前值钱，它们正是训练长期记忆的原料。
- 看行业新闻时，把「谁能杀死 Transformer」换成「这个混合架构里两种积木各占多少、为什么这么配」。