半小时拆出GPT-2的内部电路：机制可解释性开始自动化了

GPT-2 small，1亿参数。用Arthur Conmy开发的ACDC算法跑一次电路发现，顺利的话半小时到一小时出结果。换成GPT-3那个几千亿参数的量级，这套方法完全跑不动。

原因藏在算法结构里。ACDC要逐条检查计算图里的边，节点数量翻倍，边大约翻四倍，因为网络高度连接，第一层的注意力头几乎影响所有下游组件。计算量按平方往上走，再叠加更大模型本身的前向传播开销。Conmy在节目里说得很直白：目前最多往上扩一个数量级，GPT-3想都别想。

这个差距大致就是机制可解释性领域的现状：方法有了，工具有了，离拆开真正的大模型还差好几个数量级。Conmy是这期Cognitive Revolution的嘉宾，主持人Nathan Labenz请他从头到尾把机制可解释性的工作流讲了一遍。Conmy本科学数学，在Redwood Research做过研究，刚发了ACDC论文和同名软件库，合作者包括FAR AI的Adria Garriga-Alonso，实验用的算力也来自FAR AI，跟大厂那种超算集群不沾边。

给神经网络做逆向工程

机器学习这个领域有点奇怪：模型靠盲目的优化过程调出来，没人真正理解里面的算法在干什么。Conmy给机制可解释性下的定义很干脆。

「机制可解释性，就是把神经网络学到的算法逆向工程成人类能理解的概念。要讲清楚模型内部用了哪些高层变量把输入变成输出。只说『这个矩阵乘了那个矩阵』，不算数。」

他把研究拆成两步：先在一大坨参数里找出对某个任务真正重要的子组件，再解释这组组件的含义。至于更深一层的问题，模型到底在推理，还是一堆统计启发式的堆叠，也就是「随机鹦鹉」假说，他的回答很诚实：没人知道。现有评测都只看输出，没人往深处探测过。

这个问题有实际分量。GPT-4技术报告里，Nathan最看重的一句话是「某些能力依然难以预测」。报告里有个例子：后见之明偏差这种推理谬误，本来模型越大犯得越狠，符合一条反向缩放定律，到GPT-4突然反转。GPT-4的编程能力当时也让很多人吃惊，它首次出现时是模式匹配还是真懂代码，没人说得清。能力首次冒头的那一刻，是浅层模式匹配，还是真学到了通用解，直接决定部署风险有多大。如果无法预测模型会突然获得什么，至少得有能力出现时判断它深浅的手段。

三步工作流：选任务、定范围、做干预

论文把机制可解释性的标准流程拆成三步。

第一步选任务，两条标准。一是可定位。「战争从1517年持续到15……」后面该接什么年份，这个任务能从整个语言计算里干净地切出来；「生成无毒回复」这种开放任务就很难，可能的答案太多，计算散布全网。二是要跟大模型的真实能力沾边。事实召回就是个好选择：训练数据里一个人被提到多少次，模型能不能存住这个信息，直接关系到以后部署的模型。

第二步定范围，用哪个抽象层级解释。Conmy拿生物学打比方，生态学和遗传学之间隔着一堆层级，研究神经网络也一样。他给了三个例子：Neel Nanda和合作者在toy model上做到了神经元级别的模加法完整解释，这也是grokking的标志性案例；GPT-2 small的不少行为，只能在注意力头和MLP块的层面解释，去年Conmy参与的IOI论文就是第一个在GPT-2 small里逆向工程出完整电路的工作；还有ROME那篇论文，研究「埃菲尔铁塔在罗马」这类事实存在哪些层，把好几层打包在一起看。层级越细，难度越陡。选层级本质上是研究者对项目雄心的判断，选得太细，项目大概率做不完。

第三步做干预实验，找出具体哪些组件重要。整个流程里最费人力的就是这一步，ACDC自动化的正是它。

为什么不能直接把组件归零

说到干预，最直觉的做法是把可疑组件直接设成零。这条路走不通。模型训练时从没见过大量组件同时输出零，每个组件都有隐式的偏置项，权重矩阵的平均输出落在某个区间里，这个区间一般不含零。强行归零，模型整个懵掉，剩下的组件全在接收从未见过的信号。

更好的办法是用对比数据集上的激活值来替换，Conmy在Redwood Research期间的工作给这个思路提供过证据。具体做法是准备两组输入。实验组：「战争从1517年持续到15……」，模型必须算出比1517大的年份。基线组：「战争从1500年持续到15……」，后面接1500到1599之间任何数都成立，模型不需要做大于运算。这个例子来自Michael Hanna等人的论文。

两组跑完，把基线组的激活值灌进实验组的前向传播，只在大于任务里重要、在基线任务里无所谓的组件，就是执行大于运算的电路。他给了个医学类比：医生不会直接摘掉病人的某个腺体，默认方案是给激素安慰剂，让身体其余部分照常运转。归零是切除，激活值替换是安慰剂。

评估指标也有讲究。直接看输出变没变太粗。语言模型在全网文本上训练，同时在权衡一堆启发式：正常补全、反讽、笑话、网页转录截断的可能性。研究者设计的指标是把正确年份的概率加起来，减掉错误年份的贡献，把长尾干扰剥离掉。Nathan在节目里总结出一个反直觉的推论：完整模型背着这么多杂七杂八的启发式，一个子电路单独拿出来跑，很可能比完整模型在这个特定任务上表现更好。Conmy完全同意。

ACDC：把最累的环节交给算法

理解ACDC需要一块背景知识：残差流。这是Anthropic可解释性团队在「transformer circuits数学框架」里提出的视角。transformer每一层对隐藏状态做变换，再把原状态加回去，一路累加。这样看，前向传播是一条信息主干流，每个注意力头和MLP从里面读取，再往里面写回。早期组件对某个特定下游组件的影响，由此变成可以单独建模、单独编辑的东西。默认的代码实现里，一个组件影响所有下游组件，你根本没机会问「第一层对第八层单独干了什么」。

算法本身简单得惊人。选定抽象层级，把模型表示成计算图，然后在每个节点上逐条移除输入边：把这条边上的激活值换成基线数据集上的值，看任务指标掉多少。掉得多，保留；没影响，剪掉。递归处理所有节点，剩下的子图就是电路。

实现上有个巧妙细节：干净值和损坏值都提前缓存。前向传播照常跑，早期注意力头在干净输入上正常工作，中间层一切如常；到了下游那个MLP再动手，减掉这个头的干净贡献，加上它的损坏输出。被操纵的只有那一条边。

算法里有个阈值参数，控制指标掉多少算「重要」。Nathan问了个好问题：为什么不直接指定最终子图的稀疏度？Conmy承认这是理想方案，但没人会设计这样的算法，提前不知道海量子图里哪个最优，只能拿局部阈值当代理。实际操作是扫阈值，看输出节点连了多少边，估计最终稀疏度，再决定往哪边调。

验证走了两条路。一是复现前人手工找到的电路，比如大于电路，看ACDC的答案和人类研究者的重合度。二是看子图的任务表现。前者优先，因为ACDC的目标用户是可解释性研究者，要说服这群人，先得复现他们认可的成果。Conmy还主动泼了盆冷水：ACDC计算开销大，缓存加重算，拿它去榨取模型能力毫无竞争力。它的目标从头到尾只有一个：找到语义上有意义的组件。

工具到手，最有趣的发现跟着来了。有研究者用ACDC查GPT-2 small怎么决定给一个名字配上he还是she，也就是训练数据里的性别偏见怎么起作用。结果发现，模型把名字的信息聚合起来，搬到名字后面那个token的位置，再从那里汇聚到下游的性别补全。关键位置既不在输入里，也不在输出里，纯粹是模型内部的一个中间状态，手工去找要花很久。还有一个例子：模型在句尾选名字时，会把所有候选名字聚合在一起，再删掉被排除的那些。人类根本不这样想名字。选任务时默认人类会做，因为人类会做才定得出指标，但模型完全可能用陌生的路径完成同样的任务。

顺带一提，这套方法只适用于无环模型。计算图没有回路，是反向传播约束下的设计选择，Rich Sutton说的「苦涩教训」在这里也成立：简单方法能吃下海量算力，就赢过精巧架构。代价是思维链推理、AutoGPT这类循环行为，现有可解释性还拿不出办法。

「涌现」可能是看错了指标

聊到大模型能力突然冒头，Conmy给了个泼冷水的判断：所谓涌现能力，很多可能是指标造成的错觉。

他的推理是：模型训练时优化的是概率的对数，大家看评测时盯的是准确率。三位数加法，小模型正确率1%，大模型突然50%，看起来像凭空出现的质变。换回对数概率看，增长一直平滑，只是指数增长太快，1%到50%在曲线上就是一小段。有一篇论文干脆把这种现象叫「海市蜃楼」。盯错指标，平滑的增长曲线就会呈现出「突变」的样子。

但问题没消失。训练GPT-4这种模型时，没人知道该盯着哪些任务画曲线，逐批次跑海量诊断的算力开销也扛不住。Conmy的应对思路：与其追未知的未知，不如盯住已知的未知。AI安全研究里有个工具性收敛论证，不管最终目标是什么，获得权力和资源几乎总有帮助，所以强大的模型理论上倾向于寻求权力。当前模型还没什么寻权行为，但可以针对这类有理论清单的危险能力开发更好的评估，看模型离它们有多远。连评估GPT-4危险能力的Alignment Research Center团队，目前主要手段依然是看模型输出。

安全愿景：先学会拆掉危险回路

机制可解释性对安全的终极想象，Nathan概括成一句话：搞清楚危险能力在模型里怎么实现，然后在训练过程中监测那些回路的形成。Conmy认可这个方向，同时给了一条务实的退路。

「就算整体目标失败得很惨，窄任务的可解释性仍然可能成立。比如权力寻求这种危险能力，可能对应一条具体的电路。理解了它，我们可以弄清训练过程为什么走到这个解，也可以在部署前把那条电路整个拆掉。」

他坦白说，拆掉再部署并不理想，算是雄心目标失败后的「优雅降级」：理解不了模型的全部能力，至少能拆掉危险的那部分。

节目里还讨论了一个常见质疑：可解释性搞好了，会不会反过来加速更强系统的出现？Conmy给了两点回应。第一，机器学习的性能提升几乎全来自工程试错。下一个词预测的损失函数、RLHF里在0和1之间做选择的奖励，都是试出来的，没人真正理解它们为什么好用。Alignment Forum上一篇讨论pragmatic AI safety的帖子梳理过：视觉模型和语言模型的能力进步，绝大多数来自「发现某个方案碰巧比别的强一点」，理解在其中没帮上什么忙。第二，如果可解释性真能成，价值在于让人看清目标设定和系统执行之间的中间过程。对齐问题的核心恰恰在这里：指定了正确的目标，系统也可能学出一个完全没料到的解。可解释性有机会让强大的AI系统以可理解的方式被构建，部署风险会小得多。

他同时提醒别把「稀疏」和「可解释」划等号。Anthropic试过SOLU激活函数，想让模型天生更好解释，结果模型用更绕的方式把叠加态藏了起来。事后解释和训练时诱导可解释性，两条路互补，但后者必须经过前者的验证，模型可能学会看起来可解释、实际不可解释的解。Nathan提到Ziming Liu改损失函数鼓励模块化的工作，Conmy表示欢迎，还补了一点：ACDC刻意做成架构无关，瞄准的是把任意模型的计算图钉下来，就算以后主流架构换了，方法还能用。

下一步：从电路到更高层的模式

聊到未来，Conmy押注的方向是「更高层级的motif」。现在的电路框架把模型拆成架构给的零件，注意力头和MLP。他和好几个团队都在往零件之上走。他举了自己的例子：GPT-2 small里有一批压制消极内容的注意力头，这个被他称为copy suppression的模式横跨整个训练分布，分散在多个头里，单个任务的电路框架装不下它。

另一条互补路线是OpenAI的思路：用GPT-4解释GPT-2的神经元，让模型自己给组件赋予语义。还有架构层面的变数，微软研究院刚发的retention论文号称可能是transformer的继任者。架构一换，现在这套工具箱可能全要重造。

节目最后，Nathan问普通研究者能不能上手。Conmy给的答案相当具体：ACDC库建立在Neel Nanda写的TransformerLens之上，GitHub上开源，开箱就能加载GPT-2全系列、Eleuther AI的Pythia模型，还有各种激活函数的toy model。GPT-2 small级别的实验，一台普通机器一小时出结果，已经有人在7B的Alpaca模型上做可解释性，后续工作有望把自动电路发现推到那个量级。

这件事明天就能做：装上TransformerLens和ACDC，挑一个能定位的任务，比如大于年份或者间接宾语识别这类前人做过的，跑一遍电路发现，对照手工找到的结果看重合度。想系统入行的，从Neel Nanda放出的教育材料和toy model开始。做评测的人，记住海市蜃楼那篇论文的教训，同一个能力，用准确率和对数概率量出来可能是两个故事，下结论前先换一次指标。至于工程师，给模型做行为归因时，电路级别的分析至少能把问题定位到具体组件，比对着整个黑箱发呆强。