# 4096个数字装下所有概念，Goodfire 要给大模型装上“旋钮”

> Cognitive Revolution No. 164 中文精读

- 原标题：Popular Mechanistic Interpretability: Goodfire Lights the Way to AI Safety
- 发布日期：2024-08-17
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/164-popular-mechanistic-interpretability-goodfire-lights-the-way-45g68Z.html
- 精读字数：约 5146 字（阅读约 11 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

先给一个数字：4096。Llama 3 8B 每一层之间，一个 token 能携带的全部信息就是 4096 个数字。问它乔丹打什么球，它读过的所有关于乔丹的资料，都得挤在这 4096 个数字里流动。世界上的概念数以百万计，货架只有几千个格子，模型的办法是让一个数字同时兼职好几个概念。

这就是大模型难懂的根本原因，也是一家叫 Goodfire 的创业公司全部生意的前提。2024 年 8 月，Goodfire 拿到光速创投领投的 700 万美元种子轮。上 Cognitive Revolution 播客的两位创始人，一位是 Tom McGrath，在 DeepMind 安全团队待了四年，做可解释性研究；一位是 Dan Balsam，招聘创业公司 RippleMatch 的创始工程师，第三位联创 Eric Ho 出任 CEO。主持人 Nathan Labenz 自己也在这轮投了一小笔钱，节目开头就做了披露。

## 两个半路出家的人，凭什么拆黑箱

Dan 的路径很野。学过神经科学，之后一直在创业公司做早期员工。ChatGPT 发布那阵子，他被 AI 的进度吓醒，主导把生成式 AI 接进 RippleMatch 的产品，然后撞上黑箱的死结：效果确实好，出了问题说不清原因，某些对偏见零容忍的招聘场景根本不敢上大模型。他的结论是，除了降低 AI 风险，没有别的事值得做。辞职。有意思的是，RippleMatch 的创始人 Eric Ho 前后一周也提了辞职，两人后来一起创办了 Goodfire。

Tom 是另一条路。应用数学和统计博士，2016 年赌了一注觉得 AI 要成，2019 年加入 DeepMind 安全团队，做可解释性做出感情，2023 年离开，在旧金山的 South Park Commons 社区想了大半年，想明白一件事：**可解释性到底有什么用，最好的检验办法是开公司。**然后他发现 Dan 和 Eric 写过一份创业构想，跟自己那份文档几乎重合，社区牵线，三个人凑齐。

这个组合本身就是个信号：这行没有门槛神话，愿意硬啃论文的外行，一年之内就能追到前沿。怎么追，文末有具体路径。

## 从画神经元到大规模测序，转折点在哪

Tom 给这两年的行业变化打了个比方。以前的可解释性像神经科学先驱卡哈尔，拿显微镜看一个神经元，画下来，记一笔，纯手工作坊。稀疏自编码器出现之后，相当于有了大规模测序，理解从手工时代进入工业时代。

在此之前，这行长期不受待见，流行的怀疑是：模型里可能什么都没有，就算有，你也找不到。证据是一点点垒起来的。word2vec 时代就发现 king 减去 man 加上 woman 约等于 queen，嵌入空间里有线性结构；Karpathy 写过训练 RNN 并把内部可视化的博客；最出名的是 2017 年 OpenAI 的情感神经元，一个逐字母预测亚马逊评论的模型，中间冒出一个神经元，单独拎出来就是当时最先进的情感分类器。没人要求它学情感，它是为了预测下一个字符顺手学会的。

好日子没持续多久。模型一大，单个神经元就废了：一个视觉神经元既对车轮响应，又对猫耳朵响应，这叫多义性。Chris Olah 在这个问题上死磕多年，先讲清多义性和叠加态的机理，然后 Anthropic 那批人做了件看起来很笨的事。

> 他们鼓起勇气，直接训了一个特别宽的 MLP，管它叫稀疏自编码器，然后它就成了。

Dan 是从外部追上来的，他的理解框架值得单独说。把学习系统看成压缩系统：模型被正则化逼着控制复杂度，又被损失函数逼着尽量通用，两头一夹，学出来的必然是能解释数据模式的层级结构。**如果这个图景成立，我们居然完全看不见模型内部，那才是怪事。**而且现代大模型的数据经过去重，基本只看一遍，死记硬背没有收益，容量又贵，没用的记忆会被有用的电路顶掉。旁证还有一条：GPT-2 small 那么小的模型，认真去找也能找到很丰富的特征。特征一直都在，缺的从来都是工具和胆量。

## 模型内部长什么样：内存、线程和乔丹检索

Goodfire 的研究对象是残差流，就是层与层之间那些数字，8B 模型是 4096 个，405B 也不过 16384 个。Dan 的程序员式类比很实用：**残差流就是模型的内存。**每一层是一段代码，算完往全局变量里写数据，后面的层接着读。每个 token 位置是一条线程，注意力负责线程之间传话，MLP 负责线程内部加工，整个模型是一台多线程机器。

这个视角下，模型处理“迈克尔·乔丹”能讲成一段流程：分词器把名字切成 Michael 和 Jordan 两块，前几层先合成一个“乔丹超级 token”；中前段的 MLP 把所有可能用得上的乔丹事实一股脑灌进残差流，因为注意力只能回头看、不能往前推，模型只能先把货全搬上货架；等句子走到“他打的运动是”，再从货架上捞出“运动”特征，最后一步做校准，篮球胜出。

这套图景有两个证据来源。一个是 logit lens，nostalgebraist 提出，EleutherAI 的 Nora Belrose 和 Stella Biderman 发展成 tuned lens：在任意一层假装模型到此为止，直接接输出头看它会说啥，预测会从胡言乱语一层层收敛到正确答案，模型并没有在最后一层突然开窍。另一个是 David Bau 组的因果追踪：把模型整体搞坏，再看恢复哪一小块就能救回来，事实回忆的关键 MLP 大多落在全模型三分之一深的位置。

反直觉的地方也有。Dan 说他们训好稀疏自编码器去看中后层，本来期待找到“社会”这类高阶概念排好队，结果具体名词、语法特征和抽象概念全混在一起。**要理解语言模型，得按它自己的方式来，人类对信息层级的直觉大概率是错的。**Nathan 的说法更直接：把它当外星智能用，行为上像人，机制上另有一套。

但外星智能和我们可能共享底层设计。视觉模型的层级特征长得像人类视觉皮层；2024 年 Nature 上 Jamali 等人的论文，在单细胞分辨率下观察人脑语言理解，发现了类似多义性的现象和层级化的信息组装。Dan 学过神经科学，他最兴奋的点在这：**研究模型怎么学习，可能顺便搞清楚我们自己怎么学习。**人脑也有隐含的正则化，维护神经连接要耗能量，大脑天生吝啬。Tom 补了个更硬的例子：AlphaZero 没读过人类棋谱，但必须学会“钉子”这种棋型，不会钉子的棋手下不好棋。世界的结构会把自己的形状，压进任何足够好的模型。

## 稀疏自编码器：有损解压，代价不小

稀疏自编码器其实是个老工具，2010 年前后火过一轮，这次翻红有新理由。Tom 把它拆到最简：一个特别宽、带稀疏正则的 MLP，就这些。它改变的是前面那个平衡，空间一下子大了，更多概念可以独占一个维度，稀疏项还会主动扔掉不重要的东西。他还强调，这套方案居然有效，本身就有点奇迹，大概正因为听起来不合理，才拖了那么久没人试。

为什么不直接把模型训成稀疏的？两个原因。第一，太贵。8B 的模型，配的稀疏自编码器可能有 30 亿到 120 亿参数，比模型还大，而且理想状态是每一层、每个注意力输出、每个 MLP 输出都来一个，96 个比模型还大的东西，没有谁的银行账户撑得住。第二，塞进去模型会变差，损失大概只能恢复到九成半左右，而业界花大价钱把损失往下磨一个小数点。**压缩本身就是模型有用的原因，稀疏自编码器干的是有损解压。**

这个工具还带来一个社会学变化。可解释性以前太定性，没有数字可卷，现在有了损失恢复率和平均激活特征数两个指标，能画 Pareto 曲线，机器学习社区的全部军火库终于能开火了。Tom 说，这行的人第一次体会到“让数字涨起来”的快乐。

工程上的坑也不少。特征死亡问题，训着训着有些特征再也不激活，白白占容量，社区折腾很久解决了，方案公开。数据流程上，最贵的步骤是跑语言模型本身采集激活，所以先把激活写盘，再在同样的数据上跑几十上百组超参实验，把成本摊薄。

最难的是服务。Anthropic 的金门克劳德（Golden Gate Claude）只夹了一个金门大桥特征，而他们在 Claude 3 Sonnet 里找到了 3400 万个特征，怎么让每个用户拧不同的旋钮，才是真正没解决的工程问题。Dan 顺带致谢了 David Bau 参与创建的开放推理设施 NDIF 和它的 nnsight 框架，Goodfire 的激活采集和干预都靠它扩展。

## 分歧点：新概念、十个模型叠穿风衣，和世界模拟器

Nathan 讲了自己的经历。他让 Claude 3.5 Sonnet 推荐巴西的目的地，模型不但给了城市，还点名了一家只有一条船的游船运营商，连价值主张都描述了。这种长尾表现让他困惑：模型像背下了整个维基百科，又得防着死记硬背毁掉泛化，这个平衡怎么打？

Tom 引用了一项注入实验：往训练数据里塞一个编造的事实，模型马上学会一点，然后遗忘，重复展示几次就记牢了。大模型看一两遍就能记住大量事实，怎么做到不逐字背诵的，现在没人答得上来，这是可解释性的前沿。至于模型的怪异行为，Tom 有个假说：概念不正交，平时不同时出现就相安无事，奇怪的输入让它们相撞。**对抗样本可能就是恰好打中了干扰的甜点。**他补了一句，没人知道，这题还没人答过。

更宏大的应用在科学模型上。AlphaFold、蛋白质语言模型 ESM、天气预报模型，都比人类最好的理论预测得准，那里面大概率装着我们不知道的东西。Dan 的表述很激进：

> 只要一个模型能被训练去做某件事，它就能被解释。这可能是和机器学习本身同级的科学变革技术。

这里两人出现了分歧。Nathan 觉得多领域能力会融合，语言模型能写化学十四行诗，东西早就糊在一起了。Tom 的直觉是“十个模型叠穿一件风衣”：DeepMind 的 Gato 用一个模型做几十个强化学习任务，任务之间几乎没迁移；视觉语言模型到现在还经常不肯好好看图；还有经济学，天气预报模型没必要顺便会变位法语动词，推理成本不划算。他承认极限情况下可能融合，短期不乐观。对 Sora、Veo 那种“世界模拟器”的说法，他也不全买账：鸟群会合并再分开，物体恒存性都成问题，更像对未来的宣称，谈不上对现状的描述。

新架构会不会掀桌子？Nathan 提到状态空间模型这条线，可解释性技术在上面效果好得出乎意料。Tom 的答案还是普遍性：只要任务做得够好，表征大概率就在那里，只是位置变了；只要模型还有嵌入层，稀疏自编码器就派得上用场。

至于“用一个模型去解释另一个模型”的终极愿景，Tom 摇头，那像数学题没做完就拿到了答案。他还是希望解释这件事由人来完成。

## Goodfire 要卖什么，以及明天能做的事

Goodfire 注册的是公益公司，愿景说得很直白：**像调试软件一样调试模型，不理解就不上线。**Dan 搬出麦肯锡 2024 年的调查，44% 的企业领导层至少经历过一次模型意外行为造成的负面后果。Tom 的类比是育种和基因工程：以前靠试错选育小麦，现在可以直接改基因，可解释性就是把模型控制从试错升级成直接工程。

怀疑者的阵地也在一路后撤。“模型里有解释不了的概念”这个论点，先说没有，再说不多，再说只是更隐蔽，像上帝的缝隙一样越退越窄。人类理解过相对论，造出过火箭，“永远无法理解”的门槛极高，真正的问题只剩成本，而成本是规模问题。过去十年这行的主旋律，Tom 总结成一句话：**勇气得到了回报。**

产品路径分三步。先是研究预览，让用户和 Llama 系列模型对话，浏览内部特征，动手干预看行为变化。核心组件之一是自动可解释性，用语言模型给特征打标签，从给单个神经元打标签进化到给稀疏特征打标签，顾问 Nick Cammarata 正是“语言模型能解释语言模型神经元”那篇论文的作者之一。商业判断上，Dan 认为未来会有几十家可解释性公司，给监管和审计做界面，给前沿实验室做界面，做 prompt 调优、RAG、训练数据设计的都会出现，Goodfire 想做整片生态的地基。700 万美元里相当一部分要烧在算力上，现在做 8B 和 70B，下一步冲 405B，Tom 那句话值得记下：**如果你有一个可解释的 Llama 405B，那大概是全世界最有用的模型。**

对普通读者，这期播客能直接带走三件事：

- 想入行的，路径是公开的：先啃 transformer 基础，再读三篇关键论文，Anthropic 的《Toy Models of Superposition》《Scaling Monosemanticity》，OpenAI 的《Language Models Can Explain Neurons》。Dan 的经验是读完直接给作者发邮件提问，这个社区的回复热情高得反常。
- 想体验的，去玩 Anthropic 的金门克劳德，感受把一个特征拧大之后模型的变化，那就是特征干预的雏形。
- 在企业里用 AI 的，把“模型意外行为”当正经工程问题立项，44% 的比例意味着踩坑的是多数，先要求供应商能解释行为，再谈部署。Goodfire 正在招创始工程师和研究科学家，goodfire.ai。

Tom 在节目结尾说，这可能是未来几十年最伟大的科学冒险，而且是个开放社区，谁都能进来。这话从两个转行者嘴里说出来，分量不一样。