Mamba发布7个月衍生出267篇论文，作者Albert Gu把状态空间模型讲透了

2023年12月，Mamba论文悄悄挂上arXiv。七个月后，独立研究者Jason Moe整理出的衍生论文和项目清单已经排到267项，其中56.6%集中在视觉和图像领域。模型名的变体也跟着冒出来：Zamba、Jamba、Bamba，连原作者都没想到大家会这么起名。这篇论文当时的意义在于：既有低于二次方的复杂度，又是第一个在关键指标上跑赢Transformer的架构。

这期Cognitive Revolution的嘉宾，就是Mamba的一作Albert Gu，卡内基梅隆大学助理教授、创业公司Cartesia的联合创始人。主持人Nathan Labenz去年底就盯上了这篇论文，专门录过两小时独白，判断纯Transformer一家独大的阶段结束了，混合架构的时代开始了。这次他和Jason一起，跟Albert聊了90多分钟，把状态空间模型（SSM）的来龙去脉和技术细节扒了个底朝天。

五年冷板凳，换来12月的一次爆发

Mamba看着像一夜爆红，背后是五年铺垫。

Albert的起点是RNN。博士第五年前的一次实习，导师是位RNN专家，后来去瑞士当了教授。他第一次接触序列模型，就被“带状态的循环”这个想法击中了：用一个有限的状态压缩全部历史，这感觉像一种基础计算范式。Transformer出现之前，大家本来就觉得序列建模该这么干。之后钟摆整个荡到另一头，现在的年轻研究者里，有人几乎不知道RNN怎么运作，转而觉得attention显然才是正解。Albert觉得这事挺有意思：哪个方向占上风，很大程度由流行度决定。

2020年，他和Tri Dao合作发了HiPPO论文，用正交多项式和函数逼近的老理论，回答一个问题：一个有限大小的状态，怎么才能尽可能好地压缩历史。HiPPO是“高阶多项式投影算子”的缩写，但这个缩写是倒着凑的，团队先想好了要叫HiPPO，致敬海马体，大脑里管记忆的部位。论文里还真画了一张标出海马体的脑图。

HiPPO之后他其实就想做“输入依赖”的版本，也就是后来Mamba的核心想法。卡了几个月，算不动，只能放下，代码库里至今留着当年的痕迹。接下来的S4（结构化状态空间序列模型）在2020到2022年间发表，第一次让这类模型真正能用，擅长音频、视频这类连续的感知信号。语言任务上不行，很多人试过，很快放弃。

一路简化模型、理解模型，直到能把“选择性”这个老想法高效实现，才有了Mamba。

Albert自己承认，这条路上运气不少。做S4时手里有好几个HiPPO理论推出的矩阵初始化，其中一个按他的理解放进这个模型毫无道理，抱着“反正试试不花钱”的心态跑了，效果反而更好。两年后准备CMU的求职报告，他补理论时才发现这个矩阵一直有原理，只是自己当时不知道。Nathan也讲了自己学生时代的化学实验：一个看似失败的实验，换个方向延长趋势线，居然做出了发现。先靠实验撞上，再用理论解释，现代AI的很多进展走的都是这条路。

“下大注，想清楚自己要赌什么。”

这是Albert博士导师给他的建议，也是这条五年长路的底层逻辑。

一个问题分清Transformer和SSM：状态里装什么

整期访谈里最有价值的，是Albert给出的一套思考框架。

现代深度网络由一堆层堆叠而成，每层做一次“从输入序列到输出序列”的映射。LayerNorm、MLP、残差连接都逐token独立运作，不跨序列混合信息，它们没有状态。真正有状态的是核心的序列混合层，比如Mamba里的S6层，Transformer里的attention层。每层各管各的状态。

状态的定义很朴素：自回归模型从处理上一个token到下一个token之间，必须记住的东西。

Transformer的状态就是KV cache。它把每个历史token（或其某种表示）全存下来，推理时拿新token跟过去每一个做两两比较。缓存t个token，内存就是t乘以模型宽度，随长度线性上涨。SSM的状态是固定大小的，Albert给了一个粗略但相当准的算法：Transformer的内存是“token数×模型宽度”，SSM是“扩展因子×模型宽度”，扩展因子是个可控超参数，典型取值100到200。顺带一提，任何自回归模型都有状态，区别只在大小和形态。早年RNN流行时，就有人把小到塞得进SRAM的状态常驻缓存，省掉昂贵的显存搬运。

他喜欢用大脑类比。人脑记忆是模糊压缩，记不住整本词典，但能记住大量事物的模糊表征，这种不精确恰恰是能力的一部分。Transformer像外挂了一整个数据库，什么都能精确回查，代价是数据库越滚越大。SSM把历史压进一个固定状态，牺牲精确性，换恒定的内存和速度。

那Mamba的突破在哪？核心想法简单到一句话：让控制状态衰减的参数本身成为输入的函数。语音转录稿里全是“嗯”“呃”这类填充词，占着时间步纯属浪费。理想情况是模型能跳过它们，或者遇到关键新信息时只记这个、忽略其他。老式LSTM的门控也是这个思路，但Mamba之前的SSM每次都用同一个常数给状态降权，对付信息密集的离散数据，这明显不对劲。

还有一个反直觉判断：Albert认为老RNN失败的原因之一恰恰是非线性。当年大家觉得加非线性会让模型更强，实际效果是非线性会以不可预期的方式压扁状态，让你失去对信息传播的控制。把非线性拆掉、全面线性化，反而拿回了掌控权。

训练时状态可以“用完就扔”，瓶颈也变了

这期节目还帮Nathan澄清了一个背了很久的误区。

他一直以为Mamba 1的状态大小受GPU上SRAM容量的限制。Albert纠正：真正的瓶颈是计算速度。Mamba 1的训练全是逐元素操作，状态翻倍，计算量和时间几乎跟着翻倍，SRAM其实远没装满。

训练和推理的差别是理解这件事的钥匙。推理时一个token一个token地喂，状态必须存在主存里，跨时间步保留。训练时整条序列一次看全，模型真正需要的只是“输入到输出”这个映射，状态只是帮手。

于是可以耍花招。Mamba 1的做法：把状态算出来，用它产出输出，立刻扔掉，反向传播时再重新算一遍。S4更彻底，直接把循环重写成数学上等价的卷积。Mamba 2把序列切块，块内像attention一样做矩阵乘法，只在块与块之间物化状态，需要落盘的状态数量骤减。

这套设计背后有个背景，Albert称之为“硬件彩票”（概念最早由研究者Sara Hooker提出）：软件、硬件和模型共同进化，attention早期赢了，大家就为它造专用硬件，张量核心专为矩阵乘法优化，其他架构天生吃亏。Mamba 2选择向现实妥协，把计算改写成能用矩阵乘法的形式，换来训练墙钟时间的大幅提升。控制参数量大体不变的前提下，Mamba 2在困惑度和墙钟时间上全面优于Mamba 1。效率优势也有适用范围：序列够长、batch够大时，KV cache的体积才会爆炸，压缩状态模型的差距在那时才真正拉开。

更简单反而更强，作者自己都没完全想通

Mamba 2在核心层上的改动，说穿了是降低表达力。Mamba 1里，状态向量的每个数字独立衰减。假设一层的状态是10万个数，Mamba 2把它切成1000块、每块100个，同一块里的数共用一个衰减率。粒度粗了，表达力降了。

按常理这该是让步，有意思的就在这。

Chris Ré实验室的学生Simran Arora和Sabri Eyuboglu研究过一个叫“联想回忆”的任务，可以理解成词典查询：读完一本词典，给一个新词，能不能查到对应条目。这是循环模型的天然弱项，人脑同样做不到，做压缩的有限状态模型天生吃亏。Mamba 1在一众循环模型里已经算好的，Mamba 2却在这个任务上把Mamba 1远远甩开。

Albert手里只有实验结果，还没来得及做机制分析。他的猜测：分块状态可能让每一块代表一个概念、整体演化，恰好成了这类任务需要的归纳偏置。他举了个简单例子，想忽略一个“嗯”，Mamba 1要让状态里每个标量的衰减因子都等于1，Mamba 2只需要让少数几个块级因子等于1。表达力的损失和结构带来的收益，哪边占上风，目前没有定论。

理论圈也有较真的。William Merrill等人的形式语言分析认为，这类SSM的表达力不比其他线性模型强，要追上LSTM得把状态从对角矩阵换成方阵。Albert的看法是，这类改动的速度代价目前无法承受。Jason顺着问了个有意思的问题：既然大家为了推理效率愿意过度训练小模型，那反过来，选一个表达力更强的机制、多付训练税、推理端占便宜，这条路走不走得通？Albert觉得完全可行，只是未必成为主流。

另一个时间线细节：Mamba 2的算法和大部分模型其实在2023年10月就做完了，比Mamba 1论文发布还早，两人都太忙才拖到几个月后放出。序列并行、张量并行这些系统优化也随Mamba 2一起公开，其中一部分本可以直接用在Mamba 1上。

各管一段：混合架构与没被驯化的数据

聊到架构之争，Albert的态度很务实。

Nathan观察到，混合架构（比如AI21的Jamba）几乎总赢，社区里逐渐形成的经验是每8到12层放1层attention，其余用SSM。Albert认同两个机制在做互补的事：attention给了模型一个能回看一切的暂存区，词典查询、字符串反转这类精确检索任务是它的主场；他不确定纯SSM能不能把这些能力补齐。

SSM的主场在另一边：没被预处理过的原始数据。他的解释从tokenizer入手。Tokenizer本质上是流水线里一段手工压缩，替模型把不需要的信息提前扔掉。attention按定义不做任何压缩，离开这个外包步骤就很吃力。康奈尔Sasha Rush团队的MambaByte实验证明了这一点：直接建模原始字节，Mamba远好于attention。原始Mamba论文里的DNA建模同理。与Transformer共同进化少、又有顺序结构的数据，是SSM的甜区。

他也一直强调没有免费午餐。早期SSM擅长感知模态、搞不定语言，就是归纳偏置存在的证据，attention“放之四海皆准”的印象并不真实。

至于会不会有第三种核心机制，Albert提了一个自己很想要的东西：可微分的、输入依赖的自动分块层，等于让模型自己学会切词、自己造tokenizer。他没见过有人做出来，觉得这个方向又酷又重要，因为现在的模型浪费得厉害。同时他也留了余地：也许把全世界的算力继续砸向attention，就足够了。这个问题他没下结论。

状态正在变成资产，以及还没解开的题

访谈后半段聊到几个值得盯紧的方向。

长上下文。工程改进已经把谷歌Gemini推到百万级窗口，但Albert强调那终究有限，循环模型原则上可以无限更新状态。与NVIDIA的合作显示，SSM能外推到训练长度的大约3倍，微调后还能更远。他怀疑真正的解法是数据：模型需要长依赖，就得在训练数据里见到长依赖。至于谷歌的Infini-attention这类给Transformer嫁接循环的方案，他提醒目前缺少同等规模下的严格对比，Mamba的价值在于第一次让一个完全循环的架构在困惑度上追平attention。

多状态系统。这是Nathan最想推着社区做的猜想：给不同状态分配不同角色，甚至对状态内容本身设计损失函数，模拟人类分成不同类型的记忆。Albert明确表态有兴趣，认为这条路可能同时带来更强性能和更好可解释性。

状态的商业价值。Albert在Cartesia已经在用状态编码说话人风格：跨模态做少样本提示时，固定大小的状态免费携带了提示里的风格属性，可以插值混合音色、画风。固定大小的状态数据库，比管理一堆变长KV cache省事得多。RWKV项目甚至试过不动模型权重、只微调初始状态来做下游适配。

Nathan追问为什么坚持公开发表，毕竟同期刚发生Adept团队被亚马逊收编的事，证明新架构能力本身就能卖出价钱。Albert的回答很朴素：他骨子里是学术研究者，做AI是为了理解智能的本质，有些工作或许延迟发布，但分享想法这件事对他很重要。至于Cartesia和Tri Dao任首席科学家的Together，两家基本独立运作：Together做基础设施和模型服务，Cartesia押注SSM、从零训练模型。

Nathan在节目开头有段感慨值得转述：三年前他对AI只有点业余兴趣，如今回头看自己对Mamba的判断，大方向都押对了。连Albert这样的研究者，也会先撞上结果再补理论，自己的模型造出来之后才慢慢搞懂它怎么运作。这个领域留给好奇的人的位置，比看上去多。

最后挑几件明天就能上手的事：

• 手头任务涉及长序列、原始字节、DNA、音频这类没被tokenizer驯化的数据，把Transformer换成Mamba或Mamba 2跑一轮对比，这是目前证据最集中的甜区。
• 搭新模型时参考混合配方：大约每8到12层保留1层attention补精确回忆，其余换成SSM。
• 把状态大小当成正经超参数来调。压缩率换速度，性能有饱和点，默认越大越好大概率是错的。
• 做AI应用的可以关注固定大小状态缓存：把说话风格、会话摘要存成定长向量，比维护变长KV cache轻得多。
• 想跟进研究的，statespace.info上有Jason Moe维护的267篇论文清单，按图索骥。