# Mamba 发布90天：30篇论文追着 Transformer 打，73% 宣称刷新纪录

> Cognitive Revolution No. 116 中文精读

- 原标题：Mamba-Palooza: 90 Days of Mamba-Inspired Research with Jason Meaux: Part 1
- 发布日期：2024-03-30
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/116-mamba-palooza-90-days-of-mamba-inspired-research-with-jason-Bg1LQ_.html
- 精读字数：约 2068 字（阅读约 5 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2023年12月，Mamba 论文挂上 arXiv。90天之内，围绕它冒出30多篇后续论文和项目，其中73%宣称拿到了 state-of-the-art。更有戏剧性的是，这篇点燃整个研究圈的论文，自己在同行评审里至少吃过一次态度坚决的拒稿。

这是《Cognitive Revolution》的一期特别节目。主持人 Nathan Labenz 是创业者和 AI 投资人，嘉宾 Jason Meaux 是网站 statespace.info 的创建者，专门追踪 Mamba 和状态空间模型研究。两人把原论文发布后90天里的第一批30篇研究逐篇过了一遍，本文是上半场。

Jason 的背景很有意思。过去十年他在能源基础设施行业做工程师，用他自己的话说，一直待在「原子的世界」，没进过「比特的世界」。他跟着 DeepMind 的早期工作和 GPT-3 看热闹，真正的转折点是2022年11月。他手头有些用例特别需要计算量随序列长度线性增长的模型，于是去研究状态空间模型，看着看着发现不够懂，干脆建了个网站当学习笔记。这份学习笔记，现在成了这个领域最重要的追踪站之一。

## Mamba 动了 Transformer 哪块蛋糕

Transformer 的注意力机制有个昂贵的特权：处理每个词时都能回头看序列里所有之前的词，两两之间算一遍关联。代价是计算量随序列长度平方增长，序列翻倍，计算翻四倍。

Mamba 换了个思路。它维护一个固定大小的状态，可以理解成一个容量有限的记事本，每来一个新 token，就把新信息压缩进去，记事本不随时间变厚。每步推理都是常数时间，训练和推理整体都是线性复杂度。

光省算力没用，得打得过才行。原论文最硬的数据是：**纯 Mamba 架构在语言建模的核心指标 loss 上压过了 Transformer**。这是第一个不靠注意力机制，还能在主战场上赢 Transformer 的架构。Nathan 的判断是，未来大概率由两种核心机制共存，注意力加选择性状态空间，他称之为「混合架构时代」的开端。

赢的秘诀在「选择机制」。之前的状态空间模型 S4 用一套固定权重处理所有输入，来什么一律同等对待。Mamba 的版本叫 S6，把 B、C、delta 三个参数改成依赖输入，模型可以根据内容动态决定每个 token 怎么处理、记多少、忘多少。Nathan 强调，这叫动态计算，一直是 Transformer 独有的能力，现在状态空间模型也有了。

节目里还有个更正。Nathan 在去年12月那期说 A100 显卡的 SRAM 只有几百 KB，有听友写信纠正：那是每个计算核心的量，整张卡加总有几十 MB。这个细节重要，因为 Mamba 硬件感知算法的核心设计，就是让状态全程待在 SRAM 里，离计算单元最近的地方。

不过两人也承认，有些基础问题论文没写清楚。比如一个20层的 Mamba 模型，是有20个状态，还是一个共享状态？Jason 翻了代码也只给出模糊答案：状态肯定在 SRAM 里，其他细节「还有点模糊」。这个领域的研究者，集体处在边跑边搞懂的阶段。

## 90天成绩单：60%在做视觉，73%宣称 SOTA

数字先摆出来。30多篇论文里，60%在做视觉和图像处理，这个比例出乎意料，因为原论文只做了语言、DNA 测序和音频。15篇视觉论文里9篇做图像分割，生物医学是重头。语言约占四分之一。剩下的在玩各种边缘场景，图神经网络、音频、选股，什么都往墙上扔，看什么能粘住。

另外两个数字：**80%的论文没有直接套用原版，而是改了架构再上；73%宣称达到了 state-of-the-art**。

Nathan 和 Jason 花了不少时间泼冷水。这些论文从动手到发表只有几个月，最快的原论文发布30天就出现了。没经过同行评审，数据集普遍偏小，baseline 优化到什么程度全凭作者自觉。Nathan 说，大量阅读这个领域的论文，让他重新体会到了同行评审的价值。

> 论文宣称 state-of-the-art 是一回事，拿一个玩具例子做正面对比是另一回事。你那个 Transformer baseline，到底优化到位没有？

反方向的水也得泼。Mamba 论文自己就被拒过稿。两边都别迷信，这个领域的一切结论都带着「90天速成」的水印。

易用性是爆发的原因之一。原论文发布后最早出现的衍生内容里，有一篇 Lucas Nell 的博客，他把 Andrej Karpathy 的 nanoGPT 改成了 Mamba 版本，还放了 Colab notebook 让人直接跑。他在博客里写道：

> Mamba 在语音合成任务上击败了 Transformer，而且非常省显存，在 Colab 上玩 Transformer 总是 GPU 空间不够。Mamba block 就是自注意力块的即插即用替换。

Jason 自己动手训过不少 Mamba 模型。他的体验是开箱即用，兼容 Hugging Face 训练库和 FSDP 全分片训练，CUDA 层碰都没碰过。原论文作者之一 Tri Dao 以写高性能 CUDA 代码出名，Jason 说他不敢乱动那些内核，怕把东西改坏。

但速度有坑。后面提到的国际象棋项目里，Mamba 训练比同尺寸 Transformer 慢7.6倍，把 batch size 从256调到64之后，变成慢3