MMLU 训练过半还在乱猜，loss 只用来报警：Zamba2 训练一线实录

训练大模型有个少有人提的怪现象：MMLU 成绩在训练大半程都接近乱猜，直到最后阶段才突然爬升。纯状态空间模型更夸张，FalconMamba 要吃到 3 到 4 万亿 token 才出现这个信号。

这是 Zyphra 模型训练负责人 Quentin Anthony 在播客 Cognitive Revolution 里给出的第一手观察。2024 年 10 月底这期节目，主持人 Nathan Labenz 是创业者兼 AI 投资人，这次请回老搭档 Jason Meaux，后者追 Mamba 论文追到专门建了 statespace.info 网站。三人聊的是 Zyphra 刚发布的 Zamba2 系列，1.2B、2.7B、7B 三个尺寸，全部用 Mamba 加注意力的混合架构。整期节目一半是端侧 AI 的产品判断，一半是训练模型的一线踩坑实录，后者的含金量尤其高。

个性化要烤进权重，云端只当备胎

Zyphra 官网写着一句口号：AGI 的未来是云端加端侧部署，而且会越来越偏向本地推理。Quentin 给出的理由有三层。

最核心的一层是个性化。

改系统提示词根本不够，每个人得有自己的一套权重。我们要把「你喜欢被怎么对话」「你最喜欢的餐厅是哪家」这些东西烤进权重里。

他的判断很直接：靠一套统一大模型服务全球用户的公司，做不到对每个人深度定制。Zyphra 的方案是持续学习，白天用激活转向做即时调整，用户说一句「你说话太干了」，模型立刻切换到更活泼的模式，先应付着；晚上手机充电时再跑一轮权重更新，把当天的偏好真正学进去。Anthropic 的金门大桥 Claude 就是激活转向的成名案例，把一个概念灌进激活值，模型满嘴金门大桥。个性化的终点，是每个人手机里的一套专属权重。

第二层是隐私。笔记本和手机里有大量数据用户不想传云端，企业更不想把私有代码喂给第三方 API。第三层是钱，头部实验室推理模型的资本开支靠风投撑着，撑不了永远。如果每台设备都能高效跑自己的模型，这笔账就转给了用户，还白赚离线可用和更低延迟。

主持人 Nathan 正好有个切身的例子。他想让模型模仿自己的写作，用 GPT-4o 微调，风格能学个七八成，事实记不住；换成 5 万 token 的系统提示词塞满个人资料，幻觉照旧。Quentin 的回应是，风格学得动、事实学不动很正常，他压的宝是持续预训练：模型小到在消费级硬件上更新权重很便宜，用 LoRA 还能再降一档成本。

分工也讲清楚了。1.2B 给极度受限的设备，4 比特量化后能跑在树莓派和 Jetson Nano 上；2.7B 管质量，做邮件摘要、会议纪要，团队内部微调过的版本效果好到 Quentin 自己都意外；7B 是分水岭，装得进性能好点的笔记本，能想清楚更难的问题，而且模型自己知道什么时候该去问云端更强的 Oracle，用户全程无感。产品愿景叫 Maya，一个跨设备的个人云，照片、对话、笔记，共享多少由用户自己定。

一块注意力，全网共用

为什么非得搞混合架构？Jason 把问题掰开了问。

纯 Transformer 在手机上撞两堵墙：内存和算力。KV cache 随序列长度膨胀，一篇长文章喂进去，大多数手机直接爆内存。纯 Mamba 呢，效率拉满，但 Quentin 的原话很直白：他没玩过任何一个纯 SSM 模型能在 in-context learning 上真正像样，基准分能看，实际对话一塌糊涂。

Zamba 的解法来自一个实验发现：注意力块在深度方向上高度相关。第 10 层和第 20 层的注意力干的活基本一样，都是告诉 MLP「这些是重要的 token」，真正分工的是 MLP。既然如此，何必存几十份学完都差不多的权重。

于是 Zamba1 只保留一个全局共享注意力块，每 6 个 Mamba 块调用一次，注意力块看到的输入是 Mamba 残差流和原始嵌入的拼接，试过投影回原维度，效果都不如直接拼。Zamba2 稍微放开，2.7B 和 7B 用 A、B 两个共享块交替，再配各层独立的 LoRA，把那一点点跨层差异化补回来。1.2B 参数太紧，维持单块，LoRA 同时挂在注意力和 MLP 上；2.7B 和 7B 只给 MLP 挂 LoRA，实验发现 MLP 的 LoRA 承担了更多分工。

代价是参数反复使用，总计算量上去了。但 Mamba2 的 SSD 算法（Albert Gu 和 Tri Dao 2024 年 5 月发表，给状态转移矩阵加上结构约束，让计算走矩阵乘法，吃满 GPU 张量核心）吞吐量太高，完全盖过这笔开销。结果：首 token 时间和每 token 生成时间，比同尺寸稠密 Transformer 快 20% 到 30%，KV cache 调用次数从 30 多次压到 10 到 13 次。

MLP 上挂 LoRA 的理由，Quentin 借用了 CNN 的老规律：网络浅层学通用特征，深层学具体特征，语言模型里承担这个分工的是 MLP。他的类比是，注意力负责记笔记，记下所有 token 之间的关系；MLP 负责消化笔记，挖出深层含义。注意力可以共享，因为笔记大家都要看；MLP 得各层不同，因为每层挖的东西不一样。6 比 1 的比例是纯试出来的，7 和 5 都略差。Mamba 块的状态大小定为 64，更大的状态主要利好长上下文，既然有注意力兜着，这笔开销就省了。

还有个细节，Zamba1 干脆不用位置编码，Mamba 按顺序处理，位置信息已经编码进状态里。Zamba2 加回了 RoPE，长程依赖略有提升，代价是上下文扩展变僵硬，Quentin 自己也不确定这步棋对不对。长上下文是另一条待攻的山头：注意力那边有 ring attention，Zyphra 自己还发了 tree attention，多机场景下更有优势；Mamba 块这边还缺序列并行，训练时激活加输入序列塞不进一张 H100，梯度还得用更高精度存。Jason 试着给 Mamba1 提序列并行的补丁，对着 DeepSpeed 的 Ulysses 库折腾半天，自嘲连 1% 的工作量都没啃下来。Quentin 顺带亮了个态度：他不想让模型像人脑，人脑会忘记自己进房间干嘛，注意力那种跨序列依赖比人脑强，是好事，得留着。

Black Mamba 翻车记与 loss 的真面目

Zyphra 最早押的方向另有其人。2024 年 2 月，他们发布 Black Mamba，MoE 加 Mamba，全网最早一批 Mamba 论文之一，当时 Nathan 和 Jason 还数得过来论文数量，如今早已超过 300 篇。

当时的赌注来自 Mamba 原论文里一张图：Mamba 加 MLP 的混合模型，每 flop 的 loss 看着不错。他们赌注意力那些昂贵的跨序列依赖可能根本不需要，MoE 的稀疏激活又能把推理成本压到地板上。结果训练完发现，Mamba 自己记的笔记不够富，撑不起 in-context learning，MMLU 一直起不来。这个模型最后作为实验品公开，没有继续往下走。

这期节目里普适价值最高的观点，是 loss 和模型质量的脱节。Quentin 说得干脆：

loss 根本算不上有用的质量指标。我拿它检测尖峰，判断模型是不是训死了，再看它有没有在平台期卡住。其他一切都靠评测。

loss 的绝对值取决于数据噪声，降到 3 还是 2 没有可比性；学习率不够激进时它会直接躺平，那才是真正的警报。评测则各司其职。HellaSwag 像平滑版的 loss，线性爬升，测基础语言能力。MMLU 是涌现指示器加数据污染探测器，它要求模型用一个字母作答，模型得先理解「一个字母要概括全部背景知识」这件事，所以大半程都是随机的，然后突然起飞；要是 MMLU 提前暴涨，多半是训练数据混进了考题。ARC 测事实召回。最后还得靠 vibes 问题集：让模型扮演海盗，看它能不能坚持住。Phi 那类模型演两句海盗就穿帮，这种毛病基准分看不出来，实际使用一秒露馅。

他还警告了合成教科书数据的陷阱：全拿它训练，评测分数暴涨，但模型说话又干又硬，微调都微调不动，因为模型默认了数据分布就该那么干净。

优化器玄学：Adam 的护城河是没短板

关于涌现，Quentin 的猜测很实在：模型需要海量 token 去 grok「原来存在这类要按指令作答的数据」，同时学习率要沉降到损失盆地里，才能做细颗粒度的调整。MiniCPM 的做法佐证了后半句，长时间恒定学习率，最后快速退火到 0，质量收益几乎全在退火阶段兑现。

优化器方面，Zyphra 试过 Sophia，最终留在 Adam。Adam 未必最优，但胜在没有致命短板。Adafactor 这类优化器可能在某些设置下更好，也可能直接不收敛，一个奇怪的超参数组合能让你耗上三周。Quentin 宁可第一天就把训练跑起来，多喂 token，终点照样更低。

他讲了在 EleutherAI 训 Pythia 时的往事：大 batch 反而训崩。按理说 batch 越大梯度越准，怎么想都不对劲。事后复盘才看懂，batch 变大的同时学习率也调大了，batch 里混着几个离群样本，把梯度踹错方向，大学习率再迈一大步，连续几个坏 batch 就彻底发散。小 batch 加梯度裁剪才是当时的解。每个训练 run 都有自己独特的死法，这是他原话的意译。

MoE 更难伺候。注意力块看全量 batch，专家块只看分到的子 batch，两者的梯度噪声尺度根本不一样，batch size 调大顾此失彼。Black Mamba 难训，一大半是这个原因。混合架构也有类似问题，共享注意力块见的数据比 Mamba 块多，超参数这碗汤，端得平就活，端不平就死。

大厂捂着的牌，和小公司的活法

Nathan 问了个尖锐问题：Anthropic 泄露的融资材料说 2025、2026 年头部公司可能领先到没人追得上，OpenAI 又被曝用 o1 给下一代模型造数据，飞轮越转越快，小公司怎么活？

Quentin 先摊开大厂的牌。退火曾经是机密，两阶段训练：第一阶段在嘈杂的网页数据上标准余弦退火；第二阶段换成 500 亿到 1000 亿 token 的精筛数据，学习率先快速回温再猛降到 0，数据干净所以扛得住大学习率，把高质量分布狠狠烤进去，中间还要掺第一阶段数据做回放，防止灾难性遗忘。退火这个词借自金属加工，加热后缓慢冷却，材料定型，Nathan 在节目里专门问了词源，Quentin 指了他们开源的 cookbook。这套流程 Zyphra 在 Zamba1 时期就独立摸了出来；在大厂那边它一度是机密，靠 Llama2、Mistral 的人才流动才散开。Zamba2 把退火集翻倍、第一阶段数据翻了三倍，总共 3 万亿 token；Zamba1 当年 1 万亿 token 的成绩，能追平别人 5 万亿到 15 万亿训练量的模型。

蒸馏是现在的新机密。合成数据只是穷人版蒸馏，只取大模型输出的最大值。真蒸馏要用完整 logits 分布，那些接近 0 的值告诉小模型大模型没在关注什么。问题是每一步训练都要跑一遍 Llama 405B 的前向，成本贵到不如直接训大模型。Quentin 的判断很清醒：大厂要么找到了便宜的做法，要么单纯烧得起。两条路的答案指向同一个动作，小实验室必须把便宜的做法搞出来。他猜微软做 Phi 时直接调自家的 GPT-4，钱多到不用算这笔账。

还有一串捂着的牌。数据清洗要人要时间，开源社区永远慢一拍，好在 NVIDIA 的 NeMo Curator 这类工具把门槛拉低了，DCLM、FineWeb、Dolma、Zyda 这些开放数据集也都在进步。muTransfer 那套超参数迁移，30 到 40 页数学劝退所有人，原理倒不复杂，在小宽度模型上调好学习率和 batch size，除以宽度缩放因子直接迁移到大模型，Cerebras 团队正和 Zyphra 一起啃混合架构上的移植。二阶优化器怎么切分到多卡，Gemma 只说「我们用了二阶优化器」，细节免谈。Llama3 的四维并行拓扑、checkpoint 备份节点的基础设施，全是拿真金白银的训练喂出来的经验。Llama1 当年全公开，社区用 RedPajama 完整复现了数据管线；Llama2 开始不公开数据，原因就是退火。

最反直觉的一条关于模型尺寸。GPT-3 论文里的隐藏维度全是 2 的幂，词表取 64 的倍数，大家抄了几年配置，没几个人知道这是为了 GPU 上的 kernel 路径效率。再往深走还有 wave quantization：H100 上 100 个流式多处理器，100 份工作一个时间步干完，101 份就要两个时间步，吞吐直接腰斩。把模型尺寸对齐到硬件的波节上，整个生命周期都在白捡速度。Zamba 的尺寸就是这么定的，多核 CPU、Apple 芯片、各家 GPU 通吃。

大厂为什么不碰混合架构？Quentin 说得很透：他们的任务是产出质量最高的模型，Claude Sonnet 3.5 只要比对手好一点点就能拿走市场份额，没人愿意为一个大模型才能验证、还可能拖累质量的架构赌成本。小模型是被大厂战略性忽略的地带，这就是 Zyphra 的生存空间，前提是不停找小模型的下一个 free lunch，二阶优化器、便宜蒸馏，一个都不能停。Quentin 说 7B 能做到同级别最好，靠的就是这个生态位。

中间还有段插曲。Nathan 兴冲冲问起最近很火的 Entropix，Quentin 一开始把它当成训练侧的优化器，说 Tim Dettmers 在更大参数规模上试过类似思路，没比 Adam 好，还怀疑它只在 NanoGPT 那种玩具设置里有效；Nathan 描述的却是推理侧的自适应采样，模型自信时直接取最大概率，困惑时主动插一个澄清问题，甚至回滚重推。两人鸡同鸭讲了几轮才对上。Nathan 顺势提议把采样函数学进架构里，Quentin 认同值得一试，还补了一句：大模型靠规模自己学会挑数据，小模型需要显式流程来加速模仿这个行为。

至于整个领域走到哪了，Quentin 的答案是还早得很：scaling 的极限没找到，架构的极限没找到，各家训练论文里大量东西在被重复发明，还有一堆被隐式发现却没人公开的规律躺在那里。

明天就能做的事

这期节目没有惊天结论，胜在每一条都带着实验痕迹。能直接拿走的东西：

• 想试端侧个性化：Hugging Face 搜 Zamba2，1.2B 到 7B 权重都在，下载后用自己的邮件和文档做持续预训练，Quentin 确认这条路今天就能走，只是还没做到一键。
• 在训模型的人：把 loss 只当故障灯，另建一套 vibes 问题集，海盗角色扮演和数数题比基准分更早暴露问题；MMLU 大半程是随机属正常，提前暴涨反而要查数据污染。
• 定模型尺寸时：隐藏维度取 2 的幂，词表取 64 的倍数，一行代码的事，全生命周期受益。
• 做产品设计的人：记住 7B 这个分水岭，端侧小模型的核心能力是知道自己什么时候不行，该去问云端；个性化别再堆系统提示词，考虑夜间持续学习加激活转向的组合。

Quentin 留了一个展望：混合架构的终局可能是一个统一块，自己决定记多少笔记、做多少投影，动态注意力说了算。在那之前，每 6 层调用一次的注意力块，和每个 run 独有的死法，就是当下的现实。