Anthropic 首笔对外投资，给了一家给神经网络造显微镜的公司

2025 年 5 月，Goodfire 宣布 5000 万美元 A 轮融资，Menlo Ventures 领投，Anthropic 投了 100 万美元。这是 Anthropic 成立至今第一笔对外投资。 一家几十人的可解释性创业公司，凭什么让最谨慎的 AI 实验室破例？ 这期 The Cognitive Revolution，主持人 Nathan Labenz 请回了 Goodfire 的 CTO Dan Balsam 和首席科学家 Tom McGrath。距离上次访谈大约九个月。上次聊的是技术底座，多义性、激活修补、稀疏自编码器。这次往上一层，聊整个领域的哲学、实践，以及它到底走到哪一步了。 Dan 在节目里说了一句话，解释了 Anthropic 为什么破例：可解释性和 AI 本身一样大，需要一个实验室只做这件事，不干别的。Nathan 自己是种子轮投资人，开场半开玩笑，账面回报不错，还有点吹牛的资本。 过去九个月 Goodfire 干了三件事：在 Llama 3.3 70B 和 DeepSeek R1 上训练了稀疏自编码器（SAE），招了一批顶级研究员，包括 Nick Cammarata、Lee Sharkey、Michael Pearce，拿了 5000 万美元。

从「前范式」升级到「原范式」

可解释性领域被叫了很多年「前范式」（pre-paradigmatic）。Tom McGrath 这次改了口，说它现在是「原范式」（proto-paradigmatic）。 原范式是什么意思？先看共识。研究社区里相当一部分人现在同意五件事。 第一，神经网络里存在可理解的结构。这句话今天听起来像废话，几年前不是。早期模型噪声太多，很多人怀疑可解释性工具只是在找虚假相关。 第二，特征是嵌入空间里的线性方向。或者至少，线性解码是谈论特征的一种合理方式。 第三，特征的激活幅值代表强度。 第四，叠加（superposition）。一个模型只有几千维，却能表示几万个概念。办法是让特征向量互相重叠，付出一点干扰代价，模型扛得住。这个发现是理解「模型怎么装下那么多东西」的关键。 第五，特征跨层连接，形成电路。 Tom 说，这五条合起来，就是 Anthropic 和 Goodfire 共享的那套原范式。他没敢说这是完整范式，因为范式是个社会概念，需要全领域共识，而可解释性社区还太分散。用他的原话，「如果整个领域都是 Anthropic 的人，那我可以叫它范式」。 有没有竞争范式？Tom 提了一种：参数分解（parameter decomposition）关注权重，SAE 关注激活。听起来像两条路线，他给了个很妙的消化方式：神经网络本质上是个巨大的因果图，每个神经元是节点，每个权重是边。参数分解在拆边，SAE 在拆节点。一个图需要节点也需要边，两者不竞争，最后会汇到同一个「因果抽象」上。

两个鸿沟：重建与标签

Nathan 把整场对话切成三章，Tom 用两个鸿沟来承接。 第一个鸿沟：模型本身和我们对模型的近似之间的距离。SAE 是重建，训练目标是让重建后的激活尽量接近原始激活。重建损失越小，SPARSITY 和保真度之间的折中越好，这个鸿沟就越窄。但再窄也不是零。 第二个鸿沟：学到的特征和我们给它的标签之间的距离。我们在字典里找到一个特征，然后给它起名字，叫「金门大桥」，或者更要命，叫「欺骗」。这个标签到底有多可信？ Tom 说，第一个鸿沟可以靠把机器学习做得更好来收窄，第二个鸿沟得靠把实验做得更好来收窄。两个都得做，还得同时做。 Nathan 追问第二个鸿沟，现在怎么给特征打标签。流程大致是，拿一个前沿模型，喂给它一堆特征激活的例子，问「这些例子的共同点是什么」。Tom 的评价很直白，「有点原始」。 他说如果换他自己来做，不会只看例子。他会去操纵特征，看下游发生什么。会看哪些东西投影到了这个特征上，会看它和别的特征怎么互动。问题是当前的前沿模型做不到这一整套。可能只是脚手架不够，把工具接上，模型的能力就能用起来。

显微镜、库恩和常态科学

Dan 接过了这个类比。Chris Olah 以前用生物学类比机械可解释性，Dan 觉得贴得很。 19 世纪和 20 世纪初，想了解细胞，你得把东西放在载玻片上，染色，用粗糙的显微镜看。你看到的是一个不在自然环境里的横截面，你得看很多张，然后推断真实的生物结构长什么样。现代生物学整个建立在那个方法之上。后来显微镜变好，染色技术变好，能看到活体了，但起点就是那样。 SAE 就是这个阶段的显微镜。它是一个特定的镜头，一种看模型计算的方式，不是全貌。镜片大小是扩张因子，载玻片怎么切是数据集和损失函数。这些假设有时候错，但经常足够对，能让你跑出新实验。 Nathan 追问，那是不是还在「磨镜片」的阶段。Tom 说，我们可能刚走出「自己磨玻璃」的年代。以前每个研究者都得自己训 SAE、写代码，现在可以买现成的镜头，比如蔡司，然后把精力放在做实验上。 Nathan 抛了个更狠的问题：特征到底是不是真实存在的东西？基因是基因，蛋白质是蛋白质，生物学家对基本单位有把握。SAE 学出来的特征，和模型里真正发生的事情，有多大对应？ Tom 承认，就算问生物学家「基因是不是基因」，他们也会给一堆边界情况。生物学最不缺的就是边界情况。但他认为基因是一种「自然抽象」，一种谈论世界的好方式。SAE 做了稀疏化，引入了「模糊性」（mossiness），损失和重建误差都能看到。抓到的仍然是有趣、可解释的东西，只是不完整。 然后他引了库恩。《科学革命的结构》大家只记得革命和危机，但库恩说得很清楚，常态科学才是科学的主要模式，你在一个可能以后会被推翻的地基上，仍然在生产关于世界的知识。反常从哪里来？从做常态科学的过程里来。你想推动范式转移，办法往往是把现有范式推到它撑不住为止。 Tom 给 Goodfire 的定位就是这个：我们有原范式，先把它推到头，同时盯着反常什么时候冒出来。

把机器学习做得更好：从 batch top-k 到 matryoshka

回到第一个鸿沟，怎么把重建做得更好。 最经典的 SAE 用 L1 稀疏正则加 ReLU 激活。L1 有个已知毛病：它会让特征收缩，对重建损失有可预测的负面影响。社区做了几轮爬山。jump ReLU 是一种，batch top-k 是一种。batch top-k 的思路是直接控制每次前向传播激活多少个特征，而不是靠 L1 软性惩罚。 再往前一步是端到端 SAE。训练的时候不只看激活重建损失，而是把 SAE 塞进模型中间，让整个模型的输出别变差太多。这样训练出来的 SAE 保真度更高。 Tom 还提了 Spade，一种表达能力更强的 SAE 变体。以及各种字典学习的路子，比如用梯度追踪（gradient pursuit）代替稀疏编码。 Matryoshka 是 Nathan 特别感兴趣的一个。名字来自俄罗斯套娃。做法是把特征分组，第一组先预测，剩下的残差交给第二组，再剩下给第三组，一层层往外。越靠前的组越重要，越往后越细。 Matryoshka 的动机来自一个叫「特征吸收」（feature absorption）的现象。SAE 的某个 latent 会过度专门化。举例：本来应该有一个特征叫「以字母 A 开头的 token」。结果训练出来的是两个特征，一个叫「以字母 A 开头且不是 aardvark 这个词」，另一个叫「是 aardvark 这个词」。因为这样拆开，L1 稀疏损失更低。这是 SAE 的奖励机制在诱导错误分解。 特征吸收怎么被发现的？有人拿线性探针去测 SAE latent，问「这个 token 以什么字母开头」。听起来是个很窄的小实验，结果撞出了这个结构性毛病。Tom 说，这种发现事前很难预测，是典型的「做常态科学撞出反常」。 Matryoshka 能缓解特征吸收。但 Tom 说他真正想要的是树结构：一个特征亮了，能显式地提高另一个特征的概率。现在 matryoshka 是软性的、可微的嵌套分组，不是显式的树。做离散采样很难，做软分组容易。 他还提了另一个更根本的度量：最小描述长度（minimum description length，MDL）。Michael Pearce 最近加入 Goodfire，是这方面论文的作者之一。 MDL 的核心想法是，好的分解应该能用尽量少的比特描述出来。现在评估 SAE 用的是稀疏度和重建损失之间的帕累托前沿，两个指标。MDL 说，其实只有一个指标，描述长度。同样的重建精度，描述长度更短的分解更好。 树结构在 MDL 下天然占优。如果树根到树枝的条件概率很高，描述「根加枝」比独立描述两个特征用的比特少。这符合直觉：用关系来描述部件，比把部件一个个列出来更省。 问题是 MDL 概念简单，计算很难。目前还不能直接当优化目标。Tom 说，它更像一把尺子，用来比较不同的分解方法，而不是训练时的损失函数。

暗物质：SAE 的天花板

Nathan 提到了 Anthropic 的「追踪模型思维」论文。他的读后感是，很多计算没被重建出来。Anthropic 做的很多是针对特定 prompt 的分析，还手工加了误差项。这离「有效重建整个模型」还有距离。 Tom 说这里要问两个问题。第一个，能不能靠堆算力解决。第二个，要堆多少。 这引出了一篇他很喜欢的论文，Josh Engels 等人的「稀疏自编码器的暗物质」（The Dark Matter of Sparse Autoencoders）。 这篇论文做了扩展性分析：如果继续把 SAE 做大，重建率会不会一路涨到 99.99%？结论是不会。曲线会弯，会平台化，有一大块激活永远重建不出来。这块就叫暗物质。没人知道它是什么。如果容易理解，早就被理解并写进新架构了。 Tom 说这个实验据他所知没被重复过。用更新的模型和更新的技术重做，比如 Spade，还会不会有暗物质？他猜有。如果真有，那就是大问题。 Nathan 拿 Transformer 的缩放定律来类比。缩放定律里也有个常数项，意味着损失永远不会到零。两者都意味着曲线会弯，但来源不同。语言模型的不可约误差，一部分来自世界本身的不确定性，同样前缀后面可以跟不同 token，完美模型也只能给概率。另一部分来自架构限制。SAE 的暗物质更像后者，是测量工具本身抓不住的东西。 Tom 补了一个更微妙的点：就算 SAE 无限宽，它的极限可能是「给每个激活模式配一个数据集里的具体例子」。那是最细粒度的记忆，不是泛化。你在 generality 和 memorization 之间做权衡，SAE 的容量会被记忆吸走。 还有一个几何例子。假设真实数据分布在一个圆环上，只有一个自由度，角度。用 SAE 去重建，可以往圆环上塞无穷多个特征，每个点一个。算力被吸干，而真正需要的参数只有一个。这说明有些结构性洞察必须先从科学上想明白，再翻译成归纳偏置。SAE 本身给不了。 现实中的例子：Transformer 能把星期编码成一个环，因为星期是模 7 运算。SAE 学出来大概是周一到周日七个特征，这个还说得过去。但加法不一样。Anthropic 的电路追踪显示，模型做加法像一堆重叠的启发式规则。Tom 说，可能模型真的就是用这种笨办法做加法，也可能这是测量工具的 artifact，真实计算在某个连续几何里，而 SAE 永远看不到那个几何。

三个应用：科学、护栏、创意

哲学聊完，Dan 讲 Goodfire 现在真正在卖什么。三条线。 第一条，科学发现。合作方包括 ARC Institute，一起研究基因组模型，比如 Evo 2。逻辑是：这些模型能建模物理系统，建模方式传统方法做不到，那它们一定学到了人类还不理解的东西。把这些东西解释出来，解释本身就是科学发现。 Dan 说，有些特征和已知的生物结构强相关，另一些不相关。不相关的那些，要么是未知的生物结构，要么是模型自身的算法结构。两种情况都有价值。 Nathan 追问，怎么区分？Dan 说，不容易。在上下文学习（in-context learning）里，有些特征是模型内部的算法，从输入输出完全看不见。在基因组里，一个特征可能在基因组上很多位置激活，要理解它在干什么，你得同时看一百个基因组，还得是超过当今最顶尖人类专家的水平。现在的办法是拆解，先用自动化方法解释 10%，再和领域专家一起把前沿往前推。 第二条，护栏和安全。Dan 批评了现在企业做 guardrail 的常见路径。先堆 prompt 规则，规则越堆越多，任务性能下降。然后上 LLM as a judge，多一次前沿模型调用，扩展性差，实验室赚钱，用户买单。再然后微调一个小模型来守大门，很多公司既没数据也没 ML 能力。 Goodfire 的方案是推理时监控。直接看模型内部激活，模型开始想 PII 了，触发人工审核；模型碰到某个不想聊的话题，触发程序化响应。好处是便宜、快、扩展性好，不需要另一次前沿模型调用。当然有局限，越狱之类的问题还在，但真实企业场景里够用。 第三条，创意应用。节目播出前后上线了 Paint with Ember，用 SAE 特征直接生成和编辑图像。Dan 说，现在的图像编辑要么靠 prompt，要么靠圈选区域做 inpainting，很多早期图像软件里的关键交互丢了，比如拖动、重新定向、改一个细微属性。直接操纵特征能把这类交互找回来。他觉得视频和音乐价值更大，因为编辑成本高得多。想给萨克斯独奏多加一点萨克斯，直接调特征，比重新生成一遍靠谱。

天才数据中心里，他们用什么工具

Nathan 问了个时间线问题：Dario 说的「两年内一个国家规模的天才在数据中心里」，你们怎么看？ Dan 给了个 hot take。他说，就算真到了那个世界，机械可解释性可能仍是那些天才做科学的首选工具。原因很实际：物理世界做实验有物理障碍，也有规范障碍。把尽可能多的科学实验搬到模拟里、搬到芯片上，是加速科学最直接的路。自回归基因组模型、扩散材料模型，本质上都是在芯片上跑物理世界的模拟。可解释性就是那套科学工具箱，进去看懂模拟在干什么，提取原则，再指导下一步实验。 他举了制药的例子。很多药是先有一个设想，做出来，发现副作用一堆，大部分不按预期工作。公司把药留着，因为生产贵、专利在手，然后拿去试别的适应症，试到某个碰巧有效，就成了。这个流程效率极低，到了后 AGI 时代还是低。所以能模拟就模拟，能训大模型就训大模型，能上可解释性就上可解释性。 Nathan 接了一句，不管时间线长短，结论一样：能搬到硅里就搬到硅里，湿实验留到最后验证。 聊到多模态和超级智能，Dan 泼了点冷水。把图像和文本接在一起之所以相对容易，是因为人类每天都在做这件事，构造训练任务和奖励信号很自然。换到基因组、蛋白质，信号稀疏得多，你很难设计一个任务，必须深刻理解人类基因组才能做，同时又有足够多的例子能构造强化学习信号。所以「再复制二十个模态就得到超级智能」这个推演，他没那么确定。 Nathan 补了个类比：为什么 AI 解精英编程题比帮你点 DoorDash 容易？因为编程有算法验证器，agent 任务没有。科学更远，科学的验证器还没发明出来。

明天就能用上的几件事

这期节目信息密度很高，落到操作层面，有四条。 如果你在企业里管 LLM 产品，重新算一下 guardrail 的成本账。prompt 堆规则会拖垮任务性能，LLM as a judge 每次多一次前沿模型调用。推理时监控内部激活是第三条路，便宜、快、扩展性好。不一定要找 Goodfire，但值得知道这条路存在。 如果你在做科学模型，把「解释模型学到了什么」当成产出，不只是把预测精度当产出。Evo 2 这类模型能建模传统方法建模不了的东西，那些东西本身就是发现。和可解释性团队合作，先从已知结构验证特征质量，再往未知区域推。 如果你想进这个领域，去读「暗物质」那篇论文，然后重做实验。Tom 说它没被重复过。用更新的模型、更新的 SAE 变体（Spade、matryoshka、端到端 SAE）重跑扩展性曲线，看暗物质还在不在。这是一个成本可控、信息量大的切入点。 如果你关心 AI 安全，记住 Dan 那句话：可解释性是测量工具，不是答案本身。思维链是否忠实、红队测试是否真的覆盖了风险、对齐训练是否真的改变了模型内部计算，这些问题没有可解释性就没办法回答。它不直接解决对齐，它让你知道别的办法有没有解决。 Dan 在结尾留了邮箱，dan@goodfire.ai。他们在招工程师和科学家，也在找三类客户：训科学模型的、企业里要可靠 LLM 的、做创意模型的。