4096个数字装下所有概念，Goodfire 要给大模型装上“旋钮”

先给一个数字：4096。Llama 3 8B 每一层之间，一个 token 能携带的全部信息就是 4096 个数字。问它乔丹打什么球，它读过的所有关于乔丹的资料，都得挤在这 4096 个数字里流动。世界上的概念数以百万计，货架只有几千个格子，模型的办法是让一个数字同时兼职好几个概念。

这就是大模型难懂的根本原因，也是一家叫 Goodfire 的创业公司全部生意的前提。2024 年 8 月，Goodfire 拿到光速创投领投的 700 万美元种子轮。上 Cognitive Revolution 播客的两位创始人，一位是 Tom McGrath，在 DeepMind 安全团队待了四年，做可解释性研究；一位是 Dan Balsam，招聘创业公司 RippleMatch 的创始工程师，第三位联创 Eric Ho 出任 CEO。主持人 Nathan Labenz 自己也在这轮投了一小笔钱，节目开头就做了披露。

两个半路出家的人，凭什么拆黑箱

Dan 的路径很野。学过神经科学，之后一直在创业公司做早期员工。ChatGPT 发布那阵子，他被 AI 的进度吓醒，主导把生成式 AI 接进 RippleMatch 的产品，然后撞上黑箱的死结：效果确实好，出了问题说不清原因，某些对偏见零容忍的招聘场景根本不敢上大模型。他的结论是，除了降低 AI 风险，没有别的事值得做。辞职。有意思的是，RippleMatch 的创始人 Eric Ho 前后一周也提了辞职，两人后来一起创办了 Goodfire。

Tom 是另一条路。应用数学和统计博士，2016 年赌了一注觉得 AI 要成，2019 年加入 DeepMind 安全团队，做可解释性做出感情，2023 年离开，在旧金山的 South Park Commons 社区想了大半年，想明白一件事：可解释性到底有什么用，最好的检验办法是开公司。然后他发现 Dan 和 Eric 写过一份创业构想，跟自己那份文档几乎重合，社区牵线，三个人凑齐。

这个组合本身就是个信号：这行没有门槛神话，愿意硬啃论文的外行，一年之内就能追到前沿。怎么追，文末有具体路径。

从画神经元到大规模测序，转折点在哪

Tom 给这两年的行业变化打了个比方。以前的可解释性像神经科学先驱卡哈尔，拿显微镜看一个神经元，画下来，记一笔，纯手工作坊。稀疏自编码器出现之后，相当于有了大规模测序，理解从手工时代进入工业时代。

在此之前，这行长期不受待见，流行的怀疑是：模型里可能什么都没有，就算有，你也找不到。证据是一点点垒起来的。word2vec 时代就发现 king 减去 man 加上 woman 约等于 queen，嵌入空间里有线性结构；Karpathy 写过训练 RNN 并把内部可视化的博客；最出名的是 2017 年 OpenAI 的情感神经元，一个逐字母预测亚马逊评论的模型，中间冒出一个神经元，单独拎出来就是当时最先进的情感分类器。没人要求它学情感，它是为了预测下一个字符顺手学会的。

好日子没持续多久。模型一大，单个神经元就废了：一个视觉神经元既对车轮响应，又对猫耳朵响应，这叫多义性。Chris Olah 在这个问题上死磕多年，先讲清多义性和叠加态的机理，然后 Anthropic 那批人做了件看起来很笨的事。

他们鼓起勇气，直接训了一个特别宽的 MLP，管它叫稀疏自编码器，然后它就成了。

Dan 是从外部追上来的，他的理解框架值得单独说。把学习系统看成压缩系统：模型被正则化逼着控制复杂度，又被损失函数逼着尽量通用，两头一夹，学出来的必然是能解释数据模式的层级结构。如果这个图景成立，我们居然完全看不见模型内部，那才是怪事。而且现代大模型的数据经过去重，基本只看一遍，死记硬背没有收益，容量又贵，没用的记忆会被有用的电路顶掉。旁证还有一条：GPT-2 small 那么小的模型，认真去找也能找到很丰富的特征。特征一直都在，缺的从来都是工具和胆量。

模型内部长什么样：内存、线程和乔丹检索

Goodfire 的研究对象是残差流，就是层与层之间那些数字，8B 模型是 4096 个，405B 也不过 16384 个。Dan 的程序员式类比很实用：残差流就是模型的内存。每一层是一段代码，算完往全局变量里写数据，后面的层接着读。每个 token 位置是一条线程，注意力负责线程之间传话，MLP 负责线程内部加工，整个模型是一台多线程机器。

这个视角下，模型处理“迈克尔·乔丹”能讲成一段流程：分词器把名字切成 Michael 和 Jordan 两块，前几层先合成一个“乔丹超级 token”；中前段的 MLP 把所有可能用得上的乔丹事实一股脑灌进残差流，因为注意力只能回头看、不能往前推，模型只能先把货全搬上货架；等句子走到“他打的运动是”，再从货架上捞出“运动”特征，最后一步做校准，篮球胜出。

这套图景有两个证据来源。一个是 logit lens，nostalgebraist 提出，EleutherAI 的 Nora Belrose 和 Stella Biderman 发展成 tuned lens：在任意一层假装模型到此为止，直接接输出头看它会说啥，预测会从胡言乱语一层层收敛到正确答案，模型并没有在最后一层突然开窍。另一个是 David Bau 组的因果追踪：把模型整体搞坏，再看恢复哪一小块就能救回来，事实回忆的关键 MLP 大多落在全模型三分之一深的位置。

反直觉的地方也有。Dan 说他们训好稀疏自编码器去看中后层，本来期待找到“社会”这类高阶概念排好队，结果具体名词、语法特征和抽象概念全混在一起。要理解语言模型，得按它自己的方式来，人类对信息层级的直觉大概率是错的。Nathan 的说法更直接：把它当外星智能用，行为上像人，机制上另有一套。

但外星智能和我们可能共享底层设计。视觉模型的层级特征长得像人类视觉皮层；2024 年 Nature 上 Jamali 等人的论文，在单细胞分辨率下观察人脑语言理解，发现了类似多义性的现象和层级化的信息组装。Dan 学过神经科学，他最兴奋的点在这：研究模型怎么学习，可能顺便搞清楚我们自己怎么学习。人脑也有隐含的正则化，维护神经连接要耗能量，大脑天生吝啬。Tom 补了个更硬的例子：AlphaZero 没读过人类棋谱，但必须学会“钉子”这种棋型，不会钉子的棋手下不好棋。世界的结构会把自己的形状，压进任何足够好的模型。

稀疏自编码器：有损解压，代价不小

稀疏自编码器其实是个老工具，2010 年前后火过一轮，这次翻红有新理由。Tom 把它拆到最简：一个特别宽、带稀疏正则的 MLP，就这些。它改变的是前面那个平衡，空间一下子大了，更多概念可以独占一个维度，稀疏项还会主动扔掉不重要的东西。他还强调，这套方案居然有效，本身就有点奇迹，大概正因为听起来不合理，才拖了那么久没人试。

为什么不直接把模型训成稀疏的？两个原因。第一，太贵。8B 的模型，配的稀疏自编码器可能有 30 亿到 120 亿参数，比模型还大，而且理想状态是每一层、每个注意力输出、每个 MLP 输出都来一个，96 个比模型还大的东西，没有谁的银行账户撑得住。第二，塞进去模型会变差，损失大概只能恢复到九成半左右，而业界花大价钱把损失往下磨一个小数点。压缩本身就是模型有用的原因，稀疏自编码器干的是有损解压。

这个工具还带来一个社会学变化。可解释性以前太定性，没有数字可卷，现在有了损失恢复率和平均激活特征数两个指标，能画 Pareto 曲线，机器学习社区的全部军火库终于能开火了。Tom 说，这行的人第一次体会到“让数字涨起来”的快乐。

工程上的坑也不少。特征死亡问题，训着训着有些特征再也不激活，白白占容量，社区折腾很久解决了，方案公开。数据流程上，最贵的步骤是跑语言模型本身采集激活，所以先把激活写盘，再在同样的数据上跑几十上百组超参实验，把成本摊薄。

最难的是服务。Anthropic 的金门克劳德（Golden Gate Claude）只夹了一个金门大桥特征，而他们在 Claude 3 Sonnet 里找到了 3400 万个特征，怎么让每个用户拧不同的旋钮，才是真正没解决的工程问题。Dan 顺带致谢了 David Bau 参与创建的开放推理设施 NDIF 和它的 nnsight 框架，Goodfire 的激活采集和干预都靠它扩展。

分歧点：新概念、十个模型叠穿风衣，和世界模拟器

Nathan 讲了自己的经历。他让 Claude 3.5 Sonnet 推荐巴西的目的地，模型不但给了城市，还点名了一家只有一条船的游船运营商，连价值主张都描述了。这种长尾表现让他困惑：模型像背下了整个维基百科，又得防着死记硬背毁掉泛化，这个平衡怎么打？

Tom 引用了一项注入实验：往训练数据里塞一个编造的事实，模型马上学会一点，然后遗忘，重复展示几次就记牢了。大模型看一两遍就能记住大量事实，怎么做到不逐字背诵的，现在没人答得上来，这是可解释性的前沿。至于模型的怪异行为，Tom 有个假说：概念不正交，平时不同时出现就相安无事，奇怪的输入让它们相撞。对抗样本可能就是恰好打中了干扰的甜点。他补了一句，没人知道，这题还没人答过。

更宏大的应用在科学模型上。AlphaFold、蛋白质语言模型 ESM、天气预报模型，都比人类最好的理论预测得准，那里面大概率装着我们不知道的东西。Dan 的表述很激进：

只要一个模型能被训练去做某件事，它就能被解释。这可能是和机器学习本身同级的科学变革技术。

这里两人出现了分歧。Nathan 觉得多领域能力会融合，语言模型能写化学十四行诗，东西早就糊在一起了。Tom 的直觉是“十个模型叠穿一件风衣”：DeepMind 的 Gato 用一个模型做几十个强化学习任务，任务之间几乎没迁移；视觉语言模型到现在还经常不肯好好看图；还有经济学，天气预报模型没必要顺便会变位法语动词，推理成本不划算。他承认极限情况下可能融合，短期不乐观。对 Sora、Veo 那种“世界模拟器”的说法，他也不全买账：鸟群会合并再分开，物体恒存性都成问题，更像对未来的宣称，谈不上对现状的描述。

新架构会不会掀桌子？Nathan 提到状态空间模型这条线，可解释性技术在上面效果好得出乎意料。Tom 的答案还是普遍性：只要任务做得够好，表征大概率就在那里，只是位置变了；只要模型还有嵌入层，稀疏自编码器就派得上用场。

至于“用一个模型去解释另一个模型”的终极愿景，Tom 摇头，那像数学题没做完就拿到了答案。他还是希望解释这件事由人来完成。

Goodfire 要卖什么，以及明天能做的事

Goodfire 注册的是公益公司，愿景说得很直白：像调试软件一样调试模型，不理解就不上线。Dan 搬出麦肯锡 2024 年的调查，44% 的企业领导层至少经历过一次模型意外行为造成的负面后果。Tom 的类比是育种和基因工程：以前靠试错选育小麦，现在可以直接改基因，可解释性就是把模型控制从试错升级成直接工程。

怀疑者的阵地也在一路后撤。“模型里有解释不了的概念”这个论点，先说没有，再说不多，再说只是更隐蔽，像上帝的缝隙一样越退越窄。人类理解过相对论，造出过火箭，“永远无法理解”的门槛极高，真正的问题只剩成本，而成本是规模问题。过去十年这行的主旋律，Tom 总结成一句话：勇气得到了回报。

产品路径分三步。先是研究预览，让用户和 Llama 系列模型对话，浏览内部特征，动手干预看行为变化。核心组件之一是自动可解释性，用语言模型给特征打标签，从给单个神经元打标签进化到给稀疏特征打标签，顾问 Nick Cammarata 正是“语言模型能解释语言模型神经元”那篇论文的作者之一。商业判断上，Dan 认为未来会有几十家可解释性公司，给监管和审计做界面，给前沿实验室做界面，做 prompt 调优、RAG、训练数据设计的都会出现，Goodfire 想做整片生态的地基。700 万美元里相当一部分要烧在算力上，现在做 8B 和 70B，下一步冲 405B，Tom 那句话值得记下：如果你有一个可解释的 Llama 405B，那大概是全世界最有用的模型。

对普通读者，这期播客能直接带走三件事：

• 想入行的，路径是公开的：先啃 transformer 基础，再读三篇关键论文，Anthropic 的《Toy Models of Superposition》《Scaling Monosemanticity》，OpenAI 的《Language Models Can Explain Neurons》。Dan 的经验是读完直接给作者发邮件提问，这个社区的回复热情高得反常。
• 想体验的，去玩 Anthropic 的金门克劳德，感受把一个特征拧大之后模型的变化，那就是特征干预的雏形。
• 在企业里用 AI 的，把“模型意外行为”当正经工程问题立项，44% 的比例意味着踩坑的是多数，先要求供应商能解释行为，再谈部署。Goodfire 正在招创始工程师和研究科学家，goodfire.ai。

Tom 在节目结尾说，这可能是未来几十年最伟大的科学冒险，而且是个开放社区，谁都能进来。这话从两个转行者嘴里说出来，分量不一样。