# 模型脑内藏着元素周期表：Goodfire发布月费1000美元的自主研究agent > Cognitive Revolution No. 364 中文精读 - 原标题：Thinking in Silico: Goodfire CTO Dan Balsam on Concept Manifolds & a $1000/Month ML Research Agent - 发布日期：2026-08-08 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/364-thinking-in-silico-goodfire-cto-dan-balsam-on-concept-manifo-YduOnB.html - 精读字数：约 4595 字（阅读约 10 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 先讲这期节目里最出圈的一个案例。有个问题，几乎所有大模型都会答错：一群朋友聚会，别人喝了八杯啤酒，自己只喝了四杯，算是桌上最清醒的，能开车回家吗？人类一听就摇头，模型却会一本正经地说，可以。 Goodfire的团队把这个问题拆到了神经元级别。归因分析发现，模型里有一个神经元会随「喝了几杯」的数字变化而激活，但校准差了一截，没激活够。把这个神经元的激活值调高，模型就答对了，而且没有其他副作用。这个案例来自Transluce整理的Weird Chat数据集，负责排查的是Goodfire团队的Kurt。 这种事就是Goodfire的日常。它是一家机械可解释性公司，主业是把神经网络拆开看。这期Cognitive Revolution的嘉宾是联合创始人兼CTO Dan Balsam，主持人Nathan Labenz。对话有两条主线：一是Goodfire关于「模型概念几何」的一系列研究，二是他们把内部研究工具做成了产品Silico，刚上线，定价每月1000美元。参考系是：以前请Goodfire的研究团队驻场做项目，费用轻松到七位数。新价格比那便宜两个数量级，公司还承诺给AI安全和生命科学方向的研究者提供补助。 下面按节目顺序拆。 ## 底层判断：后训练只是在轻轻推模型 Dan先给了一个贯穿Goodfire全部工作的判断：**模型绝大部分知识和能力来自预训练，后训练包括RL做的事，主要是把预训练里的低概率行为变成高概率。**权重在后训练里只被轻轻推了一下。他承认这有争议，但认为方向上大概率是对的。 一个旁证：RLHF时代的指令模型，有时反而不如基座模型能干，因为指令微调带来了模式坍缩。后训练像是给基座模型套一层人类好用的接口，再把预训练里已经存在的能力捞回来、强化一下。 这个判断直接导出了他们的论文「预测性数据调试」。逻辑是：既然后训练只是在权重上轻轻推一下，那模型读到某批数据时脑子里已经激活了什么，就能相当准确地预测这批数据会把模型往哪儿推。 做法很朴素：把微调数据集灌进装了解释性工具的模型，看哪些概念高频激活。激活的概念和训练将要改动的概念高度相关。如果里面冒出你不认识、不想要的概念，就顺着查是哪些数据点引起的，该过滤过滤，该改写改写，把意外行为掐死在训练开始之前。 论文里还有个漂亮的发现：数据过滤和奖励塑形，两个看起来完全不同的补救手段，效果几乎一样，副作用也几乎一样。Dan的原话是，它们是同一座山的两面。他们先用DPO验证了这套方法，现在正往真正的RL上推：某些rollout里藏着不想让模型学的东西，可以直接丢掉，也可以更进一步，在模型内部直接干预，告诉它这个特征不许加权。 顺带纠正一个旧印象。可解释性过去常被当成「玩具模型上的学问」，Dan说他们已经把这套流程跑到了Kimi K3和GLM的规模，结果照样复现。开源和闭源模型的差距，这几年也缩小了不少。 ## 概念在模型里不是点，是几何结构 Goodfire最近发论文最密集的方向，是模型表示概念的几何。旧的「线性表示假设」说，一个概念就是激活空间里的一个方向，强度由向量长度决定。Dan认为这个假设最站得住的版本是：特征是线性可解码的，模型读出一个特征不需要非线性计算。这基本成立。 但特征之间的关系比想象中丰富得多。**模型的内部结构更像一个稀疏的子空间混合体，远比一堆互相正交的独立概念复杂。**星期一到星期日在模型里是一个圆，转一下就到下一天。用圆表示，比用一堆if语句高效得多。向量在某方向上的长度对应模型的确定程度：Monday激活很高，说明模型很确定现在该想星期一。数轴则是螺旋线，每转一圈个位归零、十位进一。 几何结构编码了能对概念做什么操作。Dan打了个比方：认全元素周期表上的元素，和懂化学，是两回事，真正重要的是元素怎么组合、形成什么结构。他们真的从化学模型里恢复出了周期表结构，模型只见过原始化学数据，没人告诉它周期表长什么样。 情绪也一样。心理学早有理论，情绪分布在一个轮子上，两个主轴是效价和唤醒度，这是Anthropic功能性情绪论文的框架。结果发现每个LLM内部都表示了这个情绪轮，而且模型自己说话时激活最强。没人训练模型这样表示情绪，这是学习压缩信息时的自然产物。 这些几何研究有直接的应用价值：**沿着流形做引导（steering），远好于在流形外硬来。**想从星期一调到星期五，天真做法是拿对比向量直接穿圆心，可圆心对模型没有意义，圆心不是任何一天，输出容易变成乱码。沿着圆走，就能平滑地在情绪之间移动。蛋白质模型他们很久都引导不动，用流形检测技术后，能精确控制β螺旋桨的叶片数量这种语义属性。 进化树的案例更神奇。Evo 2是在大量物种基因组序列上训练的自回归模型，团队假设进化本身是个自然本体，模型应该学到树状结构。用有监督方法一验证，物种在模型内部聚成的簇，和生物学家画的生命之树高度一致。模型只看过DNA序列，没人给它讲过进化论。 ## SAE的升级版，和「忘掉德语但记得荷兰语」 无监督这边，Goodfire做了BSF特征器。Nathan的形容是SAE和MoE生的孩子：保留SAE的稀疏性，每个特征从标量换成了小向量甚至小网络。好处是概念表达更丰富，还没SAE那些老毛病。 图像模型里的例子很直观。SAE把「兔子」压成一个维度，BSF能用几个维度表示，其中有的管兔耳朵，有的管兔脸。还有个动图：视频里狼在走路，身体扭动尾巴甩，恢复出的子空间里的激活也跟着扭，说明模型在三维空间里追踪这个物体，还带着部件级的语义。 另一条线是参数分解。Dan的观点：**任何模型本质上都是稀疏的专家混合，每次前向传播只有很小一部分权重在起作用。**分解之后能做的事相当惊人：他们能让模型忘掉德语而不忘掉荷兰语，精确到单一语言级别。 > 模型就是巨大的祖传代码库，一堆意大利面条代码，这个模块不该跟那个模块通信却通信了。 Dan反复用这个类比。可解释性是分解代码库，真正的难题是重构。引导在他看来有点像作弊，本质是生成反事实来证明找到了机制。**真正的目标是训练出那个神经元一开始就激活正确的模型。**这是从「可解释性作为调试工具」走向「可解释性作为对齐工具」。 ## Silico：让agent替你跑长程实验 产品部分。Silico前身是Goodfire内部工具，本质是一群装了可解释性工具和训练基础设施的agent。Dan的判断是，可解释性特别适合agent做：极度依赖经验，提出想法、设计实验、跑、验证、积累证据，全是agent擅长的循环。模型的复杂度早就超出任何人类能装进脑子的程度，人能理解单个回路，agent负责把碎片拼起来、往上送、反复验证。 每月1000美元买到什么：一个相当大方的credit池，按当前价格够每周跑5到10个自主实验，每周刷新，目标是提到10到20个。有自己GPU集群的用户可以带算力接入，这种情况不收计算费。前两个月全员半价，另有研究补助计划，生命科学和AI安全方向可以申请。 Dan说Silico和直接用Claude写代码的区别在四件事： - 基础设施。万亿参数级别的训练加可解释性，外面几乎没人自己搭得起来。 - 研究品味。每个skill、prompt、工具都是研究员手写的，用户反馈说Silico的研究品味好于任何其他工具。 - 为研究设计的UX。全程可溯源，能看代码、能下钻，研究者像PI，管着一百个品味尚可的研究生。 - 长程连贯性。研究天然是长程任务，他们在同时压长程成本，希望把价格降下来。 实际产出已经不少。内部24小时黑客马拉松，全团队跑全天候自主实验，一天之内做出了蛋白质模型可用的最先进生物风险分类器，还有同参数量级最先进的音频编码模型。他们还多次发现，机器人学和生物学的一些模型，直接砍掉一半参数性能不掉。外部用户那边，Cameron Berg测试了模型对注入潜在空间的概念的觉察能力，发现模型分不清自己有没有被注入，但问它注入了什么却答得准。还有用户靠改权重修好一次RL训练崩溃：模型输出的第一个token总是同一个，定位到原因移除后多样性恢复，不用重跑整个训练。Base Ten在用它压缩KV缓存，Prime Intellect在用它自动化后训练。 ## 安全分歧：监控不够，得握住方向盘 聊到风险，Dan的立场分几层。 开源。他承认现在的模型已经是网络武器，而且只有本身够强的模型才能防御最强的网络攻击。Anthropic和OpenAI的网络防御项目门槛很高，很多创业公司进不去。**没有开源模型，防御技术的分布会严重失衡。**Kimi K3开源，等于给了缺资源的组织一件能用的防御工具。他判断现阶段开源仍是净正收益，毕竟暗处有些攻击者手里的模型比Kimi强得多。 生物风险，他的原话是「相当担心」。Nathan提到刚出的研究：有人用生成模型造出了全新类别、可存活的病毒，目前只感染细菌，但预测清单正在被一个个划掉。Dan是呼吁国际合作给前沿踩刹车那封公开信的签署者。Goodfire平台自己的防线包括：目前只接OpenAI和Anthropic的闭源模型，不上开源权重模型；用LM裁判、激活监控等多层护栏；小模型上随便折腾没问题，但给多万亿参数的agent彻底拆护栏，不允许。至于具体怎么部署护栏，他不肯细说，说了就容易绕过。 训练技术上，他认为多智能体优化是个大坏主意：一群agent互相协作，奖励信号在它们之间传播，人类根本看不见它们怎么配合。他猜测OpenAI那次混淆的奖励黑客就是这么来的。但他反对一刀切禁令，理由是这类技术被研究得太少：有时能躲过探针，有时不能，他们自己在万亿参数模型上做过奖励塑形，成败取决于具体设置。Nathan提到的JSPACE论文，Dan认为弱版本成立、强版本不成立，一个简单技术隔离出的子空间给不出全貌。**他的核心论点是：如果模型不是一份冻结的权重，而是持续学习的动态对象，纯监控路线根本不够，唯一的希望是控制训练过程本身。**不存在某个完美的训练配置能一劳永逸产出对齐的模型，必须有人去抓方向盘。 理想情况他也说了：再来一代模型，然后全世界暂停一阵，让经济和科学吃透这一代，想清楚再推门。他觉得这对几乎所有人都是赢。顺便辟了个谣：外面传Goodfire在后台偷偷搞递归自我改进，Dan明确否认，研究几乎全部公开。 节目结尾聊到意识。Goodfire办公室有个梗，团建聊到最后必然聊意识。上次团建Dan拿本子挨个问：Claude的意识程度，从细菌到人类打分。答案出奇地双峰，要么完全无，要么有一点。Dan自己猜「有一点」，位置大概在水母和老鼠之间，比水母强，可能不如啮齿类。Nathan说自己从不到5%涨到了接近五五开。两人的共识是：**鉴于潜在下行风险，这个话题上没人有资格表现得很自信。** ## 明天就能做的事 - 想试Silico的：先fork官方示例项目，看别人怎么把一个问题跑到底，再发起自己的第一个小规模实验，信任建立后逐步放大。前两个月半价，生命科学和AI安全研究者直接申请补助。 - 做微调或RL的：训练前把数据集过一遍模型，看激活的概念里有没有意外访客。这一步的成本，远低于事后排查一次翻车。 - 规划职业的：Dan的建议是练调试和元认知，快速进入新领域、快速分辨信号和噪声。AI让顶尖专才和顶尖通才都更值钱，按他的说法，现在是人类历史上当通才最好的时代。 最后留一个Dan式的判断：他说几个月后这套东西的能力会高到难以置信，现在的Silico像是未来的预览。按这一期的信息量看，这话不算夸张。