SAE 只找到了名词：Lee Sharkey 拆解参数空间，开始解码神经网络的“动词”

2025 年 8 月，Goodfire 拿到 5000 万美元融资，团队不到 20 人，主攻一个听起来很窄的方向：机械可解释性。更具体一点，是其中一个更窄的子问题，拆解神经网络的参数。

这跟大多数人对可解释性的印象不太一样。过去几年最有名的可解释性工具是稀疏自编码器（SAE），它做的事是：拿模型跑一堆数据，收集中间层激活，然后从中分离出“狗”“毛茸茸”“埃菲尔铁塔”这样的概念特征。听起来挺完整了。

但 Lee Sharkey 在播客里指出了一个缺口：SAE 告诉你网络里有哪些变量，却不告诉你网络拿这些变量做了什么计算。

打个比方，你知道厨房冰箱里有鸡蛋、番茄、黄油、面条，知道它们各自叫什么，什么时候被拿出来。但你还是不知道厨师炒番茄鸡蛋的具体步骤。SAE 找到的是食材清单，参数分解想拆的是菜谱。

Lee Sharkey 是 Goodfire 的首席研究员。此前他联合创办了 Apollo Research，做欺骗行为的检测和缓解，团队里有一支专注于机械可解释性。2025 年上半年，Apollo 决定把重点收窄到评测（evals），Lee 带着 Dan Braun 和 Lucius Bushnaq 三人一起转到了 Goodfire。他在采访里说，自己此前还帮 Tom 和 Eric 牵过线，促成了 Goodfire 的创立，算是有个“B 级角色”。

这一集讨论两篇论文。第一篇是他在 Apollo 时发布的《Interpretability in Parameter Space》，提出基于归因的参数分解（APD）。第二篇在 Goodfire 发布，叫随机参数分解（SPD）。前者暴露出问题，后者试图修正。两篇连起来看，才能理解这条路线为什么值得投注。

为什么“找到了概念”还不够

一个具体例子能把问题说清楚。

有些网络里，“星期几”不是 7 个独立方向。激活空间里存在一个平面，7 个方向分布在这个平面上，像一个被均分成 7 份的圆。一个简单的旋转操作就能把“星期二”变成“星期三”。这是网络学会的算法，SAE 很难捕捉到。

SAE 的训练逻辑是找稀疏激活的方向。它可能会给你 7 个独立的特征，对应周一到周日，每个在特定上下文中亮起来。但它不会告诉你这 7 个方向之间有旋转关系，更不会告诉你存在一个复用的“下一天”函数。因为那个函数的信息不在激活的方向里，而在方向之间的结构里。

Lee 在播客里还提到，SAE 在概念上有一个绕不过去的弱点：一个稀疏的特征表示，会丢掉特征之间如何聚类、如何在空间中排列的信息。多维特征就是一个典型例子。有些概念占一个平面甚至更高维的子空间，你把它拍平成一组独立方向，结构就没了。

另一个例子来自模运算的 grokking 研究。网络先把这个数映射成一个角度，做三角函数的加法，再把角度映射回数字结果。如果你只用 SAE 找独立特征，看到的是一堆激活方向，看不到这个三角计算链条。这个机制本质上是一组参数之间的协作，不是一个又一个孤立的概念。

Lee 把这种区别说得挺直白：SAE 找的是计算使用的变量，参数分解想找的是计算本身。参数才是网络学到的算法所在，激活更像是算法跑起来时留下的中间状态。

把网络拆成“垂直切片”

APD 的做法，用 Nathan Labenz 的视觉化描述来说，是给网络加了一个“高度”维度。

一个正常网络有宽度（每层神经元数量）、深度（层数）。你把它拆成很多个垂直切片，每一片都是一个结构相同但参数不同的子网络。所有切片加在一起，必须还原成原始网络的参数。训练时加三个约束：

• 忠实性（faithfulness）：所有参数分量之和等于原模型参数。
• 最小性（minimality）：对任何给定输入，尽可能少的参数分量被激活。
• 简单性（simplicity）：每个参数分量本身尽量低秩、尽少跨层，这样单个分量可读。

听起来像天方夜谭。三个约束塞进一个联合损失函数，还要优化出有意义的结果。Lee 提到 Ilya 的一句话：“有时候模型真的就是想学习。”他的解释是，网络越大，能找到的满足多重约束的解就越多。就好像房间越大，能同时摆下的家具组合越多。

结果是，在玩具问题上，APD 能把网络还原成若干个可解释的机制。Lee 叫它“模型解合并”：想象你有一个巨大的混合专家模型，全部专家被压进一个实例，参数分解就是把它们重新拆开。

但 APD 有几个硬伤。

计算代价离谱。如果原模型有 10 亿参数，拆成 100 万个分量，你就会有 100 万亿个参数副本。内存和算力都吃不消。

对超参数极其敏感。那个 top-k 激活机制是不连续的。稍微调一下参数，可能从“A 分量激活”跳到“B 分量激活”，输出行为完全不同，梯度下降在这种地形里很难稳定。

梯度归因会系统性出错。Lee 举了注意力的例子。如果一个注意力头极度强烈地关注某一个位置，注意力值接近 1。你轻微扰动负责这个注意力的参数，注意力几乎不变，梯度接近 0。但它是机制上极其重要的分量，却被误判为“不重要”。

Nathan 追问了一个更深的担忧：会不会出现“概念漂移”？某些从没被激活的分量，悄悄吸收了梯度变化，导致实际激活的分量学到的算法跟原网络渐行渐远，只是靠那些死分量在参数层面“找平”。Lee 承认在 APD 的框架下这是合理的担忧，但 SPD 在结构上解决了它。

SPD：随机掩码和秩 1 子分量

SPD 换了两个核心设计。

第一，不再维护完整的参数副本。把每个权重矩阵拆成一组秩 1 矩阵。秩 1 矩阵做的事很简单：从一个方向读激活，写到另一个方向。矩阵可以拆成很多个秩 1 子分量，数量可以超过原始矩阵的秩，就像激活空间里特征数量可以超过神经元数量一样，同样是叠加（superposition）的逻辑，只是搬到了参数空间。

第二，用随机掩码学习“因果重要性”，替代梯度归因。

具体机制是这样：有一个小神经网络，对每个子分量输出一个 0 到 1 之间的因果重要性分数。分数是 1，说明这个子分量对当前输入不可或缺，必须完整保留。分数是 0，说明可以随意开关，不改变输出。中间的分数意味着随机开关它，开关幅度有多大，输出就受损多少。用重参数化技巧让梯度穿过随机采样，让这个因果重要性网络自己学会预测。

Lee 说这个想法不是他首创，但他没在归因文献里见过，而且认为它可能可以推广到图像归因等更广的场景。

关键区别在于：SPD 里没有真正的“死分量”。所谓死分量，只是“永远被随机激活”，而不是“永远被关掉”。这意味着梯度永远在流动，每个子分量都在持续参与优化。没有 top-k 那种“从激活到静默”的不连续性，也没有“用未激活分量吸收梯度”的漏洞。所有子分量始终在参数层面接近原网络，不存在靠隐藏副本抵消误差的空间。

在已知正确答案的玩具问题上，SPD 成功恢复了预期机制。它还避免了 SAE 的“特征分裂”问题。SAE 增大容量时，会把一个“以 e 开头的单词”特征分裂成“大象”和“其他 e 开头单词”，越来越细，但网络本身可能根本不区分这些变量。SPD 在参数空间的约束天然抑制了这种过度切分，因为所有分量之和必须等于原模型参数，你没法靠多加一个特征来刷低重建损失。

Nathan 在这里追问了一个很尖锐的问题：论文里提到，某个 W_out 矩阵被拆成 50 个子分量，然后又把这 50 个重新归为一个秩 50 的分量。怎么知道该分还是该合？Lee 的回答很坦诚：不存在“唯一正确”的分解。所有分解都是在离散化一个连续对象，取决于你想要多细的粒度，以及重建损失和因果重要性分数在哪个区间表现得更“健康”。这是所有可解释性方法共同的宿命，包括 SAE 和参数分解，你永远只是在给同一个黑箱换不同度数的镜片。

这能拿来干什么

Lee 列了三个方向。

手术式遗忘（surgical unlearning）。参数分解天然工作在参数空间，你知道了某个方向负责某种能力，直接改这个向量就行。SAE 做遗忘还得回到激活层面去干预，多一层翻译。至于比不比梯度引导的方法好，Lee 说这是个开放问题。

监控。SAE 监控的是“某个方向是否激活”。如果你关心的不是某个具体输入方向，而是“模型是否在调用欺骗这个功能”，那参数分解可能更合适。欺骗可以在很多不同的输入方向上发生，激活方向各不相同，SAE 可能识别不出来。但底层复用的计算机制是同一个，参数分解有机会抓到它。

从模型里提取科学知识。Lee 认为这是最让他兴奋的方向。模型在某些任务上超越人类，知识编码在它的计算方式里。如果能用网络自己的“术语”去理解它，就有可能提取出人类没写下来的洞察。尤其是非语言数据，比如蛋白质结构，模型学到的可能是一种人类还没形式化的计算，而不是某种自然语言表述。参数分解提供了一种用模型内部语言读取知识的可能。

至于规模，团队已经在几百万参数的语言模型上试过，也摸到了十亿参数级别的门槛。更关键的问题是：语言模型分解出来的分量会不会秩太高、太复杂，导致单个分量无法直接理解？如果是，就需要在分解之后再加一层处理。他们正在做，但还没有定论。

还有一个判断值得留意：子分量的数量有上界，因为所有分量必须加起来等于原模型参数。而 SAE 的潜在特征数量理论上没有上限，你可以一直加特征来降低重建损失。所以 Lee 猜测，如果参数分解在语言模型上可用，它需要的组件数可能比 SAE 的潜在特征数更少，收敛得更快。

明天能用上的东西

这期播客对大多数不做可解释性研究的人，有一个更通用的启发：看到一组特征，不等于理解了一个系统。

如果你在做产品分析、用户研究、或者任何跟复杂系统打交道的活儿，SAE 式的思维很常见：把行为拆成一堆标签，然后按标签统计。但标签之间的结构、复用的模式、从 A 到 B 的变换函数，才是系统真正的算法。只看“什么出现了”，看不到“怎么被用的”。

具体可以做一件事：下次拆解问题时，除了列出“有哪些变量”，再追问一句“这些变量之间有没有可复用的变换关系”。如果发现某个操作在多个输入上反复出现，那它可能比任何单个变量都更值得写进你的模型里。

至于 AI 安全，Lee 和 Nathan 的共识是：理解神经网络为什么做出某个决策，跟理解生物体一样，是这一代人的大科学挑战。参数分解只是其中一条路径，而且远未成熟。但它至少指出了一个方向：别只看名词，去看看动词。