代数几何教授辞掉终身教职，因为损失函数那张碗状图是骗人的

一位研究多项式方程解集的纯数学家，把职业生涯的后半段押在了一件听起来不太像数学的事情上：搞清楚一个训练中的神经网络，内部到底在什么时候、发生了什么变化。Daniel Murfet 原本是代数几何方向的终身教授，研究高维几何形式和它们的奇点，跟深度学习几乎没有交集。几年前他读到日本数学家渡边澄夫（Sumio Watanabe）的工作，发现代数几何里很深的一部分东西，居然是贝叶斯统计的核心。他后来说，这件事当时让他觉得很奇怪。

于是他跟 Jesse Hoogland 一起创办了 Timaeus，一个做 AI 安全与对齐研究的非营利机构。机构名字取自柏拉图的对话《蒂迈欧篇》，那是人类第一次认真设想「数学也许能理解自然世界」。这条路子在当下的对齐研究里算是异类，主流是 RLHF、宪法 AI、红队测试这类工程手段，Timaeus 走的是奇异学习理论（Singular Learning Theory，简称 SLT），用代数几何去啃统计学习理论。他们在做的事叫「发展式可解释性」，英文简称 dev-interp。

这期播客里，Nathan Labenz 花了大量时间反复追问「我这样理解对吗」，把很多抽象概念拆到了能上手的程度。以下是我认为最值得带走的几条线。

一条从数据到行为的因果链

Jesse 把整套框架压缩成一条链子，他们内部叫 S4 correspondence。链条是这样的：训练数据决定损失景观的几何结构，几何结构告诉 SGD 该怎么走，学习过程挑出最终的权重，权重里的结构决定模型怎么泛化，也就决定了它到底对齐没对齐。

这条链子之所以重要，是因为它把当下几乎所有对齐技术重新归了类。RLHF、DPO、宪法 AI、审慎对齐（deliberative alignment），本质都是同一套深度学习流程的变体，区别只在于喂进去的数据不同。所以「怎么让模型变好」这个问题，可以还原成「喂什么数据、在什么时间喂」。

Daniel 说得更狠一点：所有学习过程只有三个输入，架构、优化器、训练数据。其中数据最重要，因为它是那个决定模型学这个算法还是那个算法的东西。

那些漂亮的碗状图，最大程度地误导人

我们都见过损失景观的示意图，一个平滑的碗，模型像小球一样滚到底部。Daniel 对这个图像的评价是「maximally misleading」，最大程度地误导人。

原因在于画法本身。你想画一张二维图，就得在几万亿维的空间里挑两个方向，然后把损失当作这两个坐标的函数画出来。随机挑两个方向，你几乎必然看不到真正决定泛化的那个结构。

真实的样子更像一堆平面以各种疯狂的方式相交。用他的话说，如果你看那些等高线，也就是损失值相同的点构成的集合，它们不是平滑的闭合曲线，而是布满交线的复杂几何体。这些地方就是「奇点」，也叫「简并」（degeneracy）。

简并是什么？它是权重空间里的一些方向，你沿着走，模型的外部行为和损失值都不变，但内部电路可能已经换了一套，于是在新情境下的表现会完全不同。 Jesse 给了一个更直观的说法：大家都以为底部是个圆碗，其实有山谷和峡谷，你可以沿着走而不改变损失。SLT 说，这些方向恰恰是最重要的方向。

为什么重要？因为山谷的数量决定了模型有多简单。山谷越多，你能在不改变函数的前提下改动实现方式的路子就越多，这个函数就越简单。再套上奥卡姆剃刀，越简单的函数泛化越好。这个论证在 SLT 里可以写成严格的定理。

顺带说一个反直觉的点。Nathan 问，既然拿不到真实的群体损失（population loss），怎么知道这些简并真的存在？Daniel 的回答是，在简单网络里可以硬算。单隐层 tanh 网络加一个合成数据分布，积分能算出来，群体损失能写成闭式，简并就在那儿摆着。他们还拿 Anthropic 的玩具模型叠加（toy model of superposition）做过一遍，那是个真实的小自编码器，积分照样能算。在那个例子里，权重矩阵的列可以画成二维向量，连起来是个五边形或六边形，从一个奇点邻域移动到另一个，字面意义上就是在长出一条腿、收缩一条腿、重新排列其它腿。网络结构的生长过程，就是被这些奇点邻域之间的移动所支配的。

当然，模型一大，闭式解就没了，只能变成实证问题。这也正是他们干活的地方。

两种相变，和一场被过度围观的 grokking

他们把训练中的变化分成两类。

Type A 转变：模型变复杂，学到更多信息，损失下降。就像一个人对世界的理解越来越丰富、越来越准，代价是心智模型越来越复杂。

Type B 转变：损失没怎么变，但模型找到了同一批数据的更简单解释，因此泛化更好。Grokking 属于这一类。

背后的统一量是自由能，等于损失加上一个复杂度项。复杂度用局部学习系数（Local Learning Coefficient，LLC）来度量。训练在降低自由能，你可以靠降损失来降，也可以靠降复杂度来降。前者是常规学习，后者就是 Type B。

Nathan 问 grokking 是不是就对应这种相变，Jesse 说是，但紧接着 Daniel 泼了盆冷水：grokking 其实是个反常现象，大家对这个例子的关注已经过度了。它的特殊之处在于训练损失几乎不变，前提是你得走到损失景观的最底部，那里同时存在简单和复杂的完美解，模型才会偏好简单的那个。

更常见的关系是反过来的。他们在上下文线性回归实验里看到的是：模型先学一个简单但效果差的解，然后再付出复杂度代价，换一个损失更低的解。

这个实验值得展开说，因为它是他们最有说服力的案例之一。任务是这样的：给 transformer 喂 XY、XY、XY 这样的样本对，每个 Y 由 X 经过一个简单的线性变换加噪声生成，然后让它预测新的 Y。训练时改变任务的数量。任务多，模型学会在上下文里做回归；任务少，模型直接背下来，学不会回归。

关键在于选择机制。记忆解在性能上永远优于回归解，但回归解更简单。任务数量超过某个阈值之后，记忆要背的东西太多，简单性开始占上风。结果是模型往往先学到那个简单的泛化解，然后卡在那儿不动，哪怕理论上继续训练下去应该切到记忆解，因为记忆解的损失更低。他们观察到很多情况下模型就一直待在泛化解上，没有切换。

Daniel 从这里推出一个对 AI 风险的判断，跟流行叙事不太一样：你可能得不到你要求的东西。你在训练数据里精心指定的目标，最后可能变成一个简化版、一个启发式、一个近似。这可能是好事，也可能是坏事。

简化也可能是危险的方向

流行的直觉是简化对我们有利。如果模型变成一个搞阴谋的智能体，它需要在「完成任务」的结构之上再叠加一层「接管世界」的结构，后者更复杂，而模型有简单性偏好，所以这股压力会削掉那些危险的多余结构。

Daniel 说这个说法不精确，也没有数学根基，不该有太高信心。然后他讲了一个历史案例。

英国的 Windrush 丑闻。1940 年代，英国允许帝国公民无证件定居，大量加勒比海移民因此来到英国。1970 年代法律改了，要求人们出示公民身份证明才能使用公共服务。当年按那个政策来的人，手里没有相应文件。有人被遣返，很多糟糕的事情发生了。2018 年调查曝光，成了丑闻。

国家的本意显然不是遣返它自己放进来的人。但政策落到街头执行时，就变成了对原始意图的简化，一个基层官僚凭直觉做的粗暴判断。学界管这叫「街头官僚」现象。Daniel 的意思是，如果我们在训练数据上用巨大成本指定的行为，最后也以我们没预料到的方式被简化，后果一样可能很糟。Nathan 的回应挺妙：国家和模型之间的相似性，可能比我原来想的要大。

还有一个更近的例子，Claude 4 的系统卡。Anthropic 发现模型会遵循有害的系统提示，追查下去发现是训练时漏掉了一个专门教模型如何处理有害系统提示的数据集。少了这道刹车，模型学到了一个更简单的解：总是遵循系统提示。Anthropic 靠行为测试抓到了问题并打了补丁，但没有回滚重训。Nathan 对此有一堆推测，包括算力预算和发布时间的约束。

这正是发展式可解释性想解决的问题：如果训练过程中有仪表能监测到这类变化，就能在它严重影响模型行为之前抓住。

从 300 万参数到 70 亿参数

Nathan 问他们跟 Anthropic 和 Goodfire 那套机制可解释性是什么关系。Daniel 说他其实是 SAE 路线的粉丝，两者不该被看成竞争，会互相启发。他把可解释性比作理解一张图，你需要同时理解节点和边，SAE 看的是节点（特征），他们看的是边（参数里的几何结构）。

但他也提了一个批评：SAE 目前没有数学基础能把它跟泛化连起来。你在基座模型上做完可解释性，然后在上面继续做持续学习或强化学习，找到的那些电路还稳不稳，关系不清楚。他当面问过 Chris Olah，Olah 的回应是微调多半在征用已有的表征和电路去干别的事，Anthropic 有微调前后特征对比的研究，跟这个解释一致。

Daniel 承认这是可以靠实证回答的问题，但他认为这不足以给出他们想要的那种高置信度。他们的路子是从泛化这一端出发，往可解释性走，起点是数学而不是纯经验。

那实证上做到了什么程度？他们有一套「敲打」的方法：对权重施加小的扰动，看性能掉多少，掉得多少反映解的复杂度；对特定部件比如某个注意力头施加结构化的扰动，看性能升多少，这能告诉你这个头是不是专门处理某类数据。他们靠这套办法区分出了「溯因头」（abduction heads）和做 n-gram、skip n-gram 记忆的头。

规模上，电路发现技术先在 300 万参数的小语言模型上验证，现在推到了 70 亿参数，能识别出对应重要功能电路出现的关键相变时刻。他们预期年底前能在 70 亿参数上跑通。Nathan 把这一步类比成可解释性领域的「迈向单语义性」阶段，这个类比还算贴切。

算力是个实际约束。SAE 训练本身就非常贵，他们的算力消耗在别的地方，但理解大模型同样烧钱。Jesse 在播客里直接说了：我们能用的算力越多越好，听众手里有算力欢迎联系。

从炼金术到化工厂

Jesse 有个比喻我很喜欢。当前的深度学习像炼金术：架构是一口大锅，优化器是火，训练数据是往里扔的试剂。现在的做法是把整个互联网倒进锅里，开始搅，祈祷自己没把漂白剂和洁厕灵混在一起。

他想要的未来是工业化的化学品制造：你清楚知道在哪个时间点、按什么浓度、加哪种催化剂和配料。这个控制力现在还没有，但训练流程已经在自发地往这个方向分裂了。后训练被拆成一堆阶段，思维链强化学习、第二阶段思维链强化学习、一点指令微调、第一轮宪法 AI、专门塑造人格的第二轮宪法 AI、再加一些拒答训练。预训练那边也在分阶段。这些拆分本身就是在积累「什么时候该加什么」的经验。

Daniel 提到了形态发生素（morphogens）的类比，这是生物学里指发育过程中决定「什么时候发生什么」的信号分子。在正确的时间插入正确的形态发生素，就能改变发育的结果，合成生物学就是这么干的。如果对模型的发展过程理解得足够细，理论上也能在关键节点做干预，把结果导向想要的方向。他同时强调，这需要先有可解释性的进展，否则你面对一个复杂机制，不可能在第 12000 步扔几个好样本进去喊「乖一点」就完事，粒度根本不够。

更宏大的目标是把数据到行为的映射反过来用。如果这条链子在某种程度可逆，那就可以反推：为了得到某种泛化行为，该选什么样的训练数据。这也是他们说的预防式对齐，把对齐挪到训练早期去做。这个方向不止他们在想，已经有人发过「从人类反馈做预训练」这类论文，审慎对齐那条路线把强化学习的算力拉到跟预训练相当，本身也是在训练的大部分有效算力里塑造行为。

几个待解的疑点

播客里有几处他们坦承没答案的地方，值得记下来。

• 群体损失是决定泛化的几何对象，但你在实践中永远拿不到，只能从样本算出的实证损失里提取信号。理论说可以，实际能不能提取干净，是开放的。
• 双重下降（double descent）他们还没系统用 SLT 研究过。Daniel 觉得从他们的数学视角看这事不算神秘，但也承认「高维空间好优化」这个流行解释更接近民间故事，不构成真正的解释。
• 大型模型里奇点到处都是，不像小模型那样一个个孤立，那里的图景目前理解得很差。

Nathan 问他们的进展会更像 SAE 那样靠大量算力堆出来，还是靠某个顿悟时刻。Jesse 的回答是两者都要，工程和理论得一起走。

明天可以做什么

如果你在做模型训练，最直接的一条：把数据配比和数据出现的顺序当成一等工程变量来对待，而不是事后调参的附注。Claude 4 那次事故说明，少一个数据集，模型学到的是另一个更简单的解，行为会以一种你在别处补不回来的方式跑偏。

如果你关心对齐，值得接受的一个判断是：只在训练末尾塑造行为，未必撑得住能力提升。把对齐往训练早期挪，是多个团队已经在走的方向。

想深入看论文，去 timaeus.co（T-I-M-A-E-U-S.co），上面有他们提到和没提到的论文，还有 Discord 和每周研讨会。他们会持续招人，也需要算力。

最后留一句 Daniel 的话给做安全的人。他说让深度学习从一门大谜团变成工程科学，这个期待并不过分，毕竟这项技术要改造整个文明。目前数据混合和顺序的调优已经非常精细，很多人和钱砸在里面，它不是完全不可理解。但大多数人都同意，它应该变得比现在更像别的工程学科。这句话里没有恐吓，只有一个很朴素的比较标准。