在推理链每个 token 重采样 30 次，他拍到了模型"拍板"的那一刻

2024 年，还在哈佛心理学系读博的 Eric Bigelow 做了一个很笨的实验。他让 GPT-3.5 级别的模型一步步解推理题，然后在推理链的每一个 token 位置重新采样 30 条完整后续，统计每条最后落在哪个答案上。把结果画成时间序列，看不到平滑过渡，只有一连串断崖：某个 token 之前，模型对两个答案各给五成和三成把握，过了那个 token，分布突然坍缩成一个。

坍缩的位置经常出人意料。有时候是答案第一次被提到的地方，符合直觉；有时候是一个毫不相干的符号，比如 "kilowatt hours (kWh)" 里那个左括号。把左括号换成别的字符再采样，最终答案就换了。这篇论文叫《Forking Paths in Neural Text Generation》，是理解大模型如何做决定的一条主线。

Eric 现在的身份是 Goodfire 的 Member of Technical Staff。这家公司做机制可解释性，估值刚过十亿美元，是这个方向上规模最大的一家。他的博士论文题目叫《Towards a Cognitive Science of Large Language Models》，答辩时导师开玩笑说，如果当年有人告诉我我的学生会写这个题目，我会问一句：大语言模型是什么东西。

这期播客的由来本身有点意思。主持人 Nathan Labenz 先和 Apollo Research 的 Bronson Schoen 聊过。Schoen 可能是公开场合读过最多 chain of thought 的活人，他的结论是：即使把模型思考的全过程摊在面前，你依然经常猜不到它为什么这么决定。Nathan 于是让 Claude 做了一次文献综述，问"critical token 是怎么被选出来的"，翻来翻去，同一个名字反复出现。他就把 Eric 请来了。

决策发生在采样那一步，不在模型内部

Eric 对"模型如何做决定"给出的答案，第一层就有点反直觉：决定并不完全由模型做出，决定发生在从最终 token 分布里采样的那一刻。

模型在每个时刻要说什么，很大程度上取决于下一枚硬币怎么翻。翻出哪个 token，它就在上下文里学习自己刚写下的东西，然后自洽地沿着那条路走下去。

这套说法把两件事同时讲通了。一件是随机性为什么重要：如果永远取概率最高的 token，模型就失去输出多样性，同一道题永远同一个答案，同一个故事永远同一个主角。另一件是为什么"随机鹦鹉"这个嘲讽该退休了：模型内部确实有结构化的世界模型，Othello GPT 那样的实验已经反复证明，学一个世界模型比学一张巨型查找表更省事。但随机性并没有随之消失。

他用"分叉路径"这个词描述这个过程。一个词采样错了，模型不会像人那样回头纠正，它会把这个错误当成既定事实，继续往下推。人在讲故事时说错了"Billy 掉进了一个洞"讲成"Billy 掉进了一艘飞船"，会自己改口；模型会直接开始讲一个关于飞船的新故事。这一点上，人和模型看着差别很大。但 Eric 补了一个转折：心理学里有一批"理性化"实验，给受试者看两个选项让他们挑，事后实验者偷偷把选项换掉，受试者照样能编出一套头头是道的理由，解释自己为什么选了那个其实没选的。人对自己的决定，事后解释也经常是编的。分叉这件事，人身上也有，只是我们不这么看它。

In-context learning 被严重窄化了

Eric 反复强调的一个概念是 in-context learning，他认为学术界对这个词的使用太窄。多数人一听就想到 few-shot，给几个输入输出样例，看模型表现怎么随样例数量上升。他更认同 Andrew Lampinen 等人那篇《The Broader Spectrum of In-Context Learning》里的框架：凡是模型不改变权重、只靠上下文调整行为的过程，都算 in-context learning。读每一个新词时表征在变，生成每一句推理时表征在变，整段对话里表征一直在变。

这个视角给"提示词工程"平了反。科学界一度觉得 prompt engineering 是脏词，一堆 hack，加一句"你是一位杰出的软件工程师"，代码就写得好一点。Eric 的看法是，这类技巧也许会随着后训练被吸收掉一部分，但提示本身不会消失，因为同一份权重必须服务无数种上下文，动态适应是刚需。你不可能靠微调让模型在第一次读某个新故事时，就知道谁是好人谁是坏人。

他拿 Kurt Vonnegut 那场著名的"故事形状"演讲打比方。灰姑娘的故事是一条曲线：开头很惨，舞会上冲到顶点，魔法失效掉下来，最后王子找到她，冲到更高的地方。故事有形状，所有上下文都有形状。聚合尺度上看，学习曲线很平滑；放大到单个样本，曲线可以剧烈跳变。Neel Nanda 有句话被 Eric 引用：只要你看得够细，相变无处不在。In-context learning 也是这样，某句话读进去，模型对某个角色的判断可能在一句话之内翻转。

由此推到一个关于持续学习的判断。主持人问：如果未来每个用户都有自己的微调模型，可解释性技术还够用吗？Eric 的回答偏乐观。Goodfire 内部有工作显示，模型的表征空间沿低维流形组织，只要这层概念结构不大变，探针稍微调一调就能迁移。真正会出问题的情况是灾难性遗忘严重到内部表征彻底重排，而那种情况下模型本身大概也坏了。他更愿意下的注是：更好的 harness 和记忆系统会赢过按用户微调。记忆在他眼里不过是一堆 token，每次生成时被塞进上下文，而上下文里的东西天然可读。旁证是 Anthropic 从来没向零售开发者开放微调，OpenAI 也把它关了。

7 到 8B 是可解释性的甜点区，前沿研究离不开中国开源模型

选什么模型做研究，Eric 有一套自己的标准。他从头训练玩具 transformer 的那类工作里学到很多，但给自己定的规矩是：尽量研究那些已经涌现出复杂类人行为的大模型，零样本就能观察，不用先把它教会。按这个标准，70 亿到 80 亿参数是甜点区，低于 10 亿性质就变了。他那篇关于故事中信念更新的论文，主力模型就是 8B，读故事时对多种情绪的追踪相当灵敏。

再往上，他最近在 Qwen3 35B A3B 上做了不少实验。这个 MoE 模型激活参数只有 3B。他先跟它聊意识和 LLM 的关系，聊完觉得这模型对复杂话题的把握超出预期。他也提到 Qwen 的一个特点：用英文提问，logit lens 打进去，中间会看到不少中文字符在冒，然后才输出英文 token。

Kimi K3 是另一个量级的坐标。它是一次阶跃，第一次让开源模型在 coding 和 reward hacking 这两件事上同时达到可以研究的水平。Goodfire 有同事在它身上做 reward hacking 研究，那种在小模型上根本催不出来的行为，在 K3 上自然出现。Eric 的判断是，如果只为了研究行为本身，小一点的模型也能凑合；但要研究那些随规模才涌现的危险行为，就必须有跨过门槛的模型，否则你研究的是长得像的东西，不是同一个东西。

主持人问得直接：今天前沿模型公司之外的可解释性研究，是不是已经依赖中国开源模型了？Eric 答得也直接：目前是的。顶配那一档，Kimi K3 和美国闭源模型之间的编程能力差距明显。但他补了两句。一是这个差距不是不可弥合的，只要美国公司愿意往开源上投钱。二是往下走一两档，差距就小了，如果禁止他用 Qwen 35B，换成 Gemma 系列，进度会慢一点，不会停。他真正担心的是对开源模型一刀切的限制，那会拖慢 reward hacking 这类风险研究，因为这些行为只在能力跨过某个点之后才出现。

拟人化可以分两层用

哈佛心理学博士这个背景，在讨论"能不能说模型有信念"时格外有用。Eric 把拟人化拆成两层。

第一层是给自己用的。认知科学里有个词叫 intuitive theory，指进化装进我们脑子里的那套推理框架，用来理解人和 agent 特别顺手。车发出怪声，你说它"想告诉我点什么"，这话不必当真，好用就行。这一层不需要太小心。

第二层是要认真对待的。LLM 做的事不只是发出怪声，它在说语言、做数学、做社会推理、写代码。这时候"信念""决定""意图"这些词就不能随便用，也不能因为怕用错就整个禁掉。他的态度是请心理学家、语言学家、哲学家进来一起把定义抠清楚，别只在旁边说这是糟糕的心理学。研究人脑时做干预既贵又有伦理限制，研究 LLM 时可以随便切开看，这是认知科学少有的机会。

具体到"信念是什么"，他给的框架是贝叶斯认知建模：模型持有一批潜在概念，每个概念有先验权重，上下文通过后验推断重新加权，行为由被激活的概念生成。这套框架解释人为什么能灵活适应各种情境，放到 LLM 上也成立。

但他很诚实地指出这套框架的软肋。贝叶斯认知科学常被批评：你说人在做贝叶斯推断，这到底是算法层面的描述，还是仅仅在拟合行为？研究人脑时这个问题可以悬置，因为脑子太难测。研究 LLM 没这个借口。他在做的后续工作就是想回答：模型在不确定时，内部到底表征了什么？目前的结果是，从隐藏表征解码出完整的答案分布很难。可能是数据不够，采样太贵；也可能是模型压根没表征整条推理链，它也许只往后看几步，也许持有一个高层的"证明形状"，像数学家动笔前对证明走向的直觉，但不知道每一步具体长什么样。

顺带一个定义问题。在推理任务里说"模型有 50% 不确定"，意思是：从这个点重新采样 50 次，大约 25 次落到答案 A。这并不意味着模型内部存着这 50 条路径。到了推理链末尾，模型对答案几乎百分之百确定，因为前面的推理已经把它锁死了。这种"确定性"和人感受到的确定，不是一回事。

Chain of thought 越来越怪，而且很难逆转

这是整期对话里最不轻松的一段。Eric 说自己对 CoT monitoring 的态度在过去一年里转了个大弯，从乐观变成谨慎。

原因不复杂。如果训练信号只来自最终结果，模型没有任何激励保持思考过程的人类可读性。它跟子 agent 讲什么语言，用什么符号，只要最终答案对，优化目标不管。他拿语言演化打比方：英语三百年前和今天不一样，没有哪条法律要求它保持原样，只有法兰西学院那种机构才试图冻结语言。RL 训练跑在比人类语言史快得多的尺度上，几百万个 episode 累加起来，足以把语言推到一个我们看不懂的地方。

还有一层 Goodhart。一旦你把"思考过程可监控"本身当成优化目标，模型学会的是让思考过程看起来合理，至于真的合理不合理，另说。他提到那篇关于"被偷走的 chain of thought"的论文，GPT 系列模型的思考里出现关于音乐剧的讨论，读起来像暗语，字面说音乐剧，实际指别的东西。

Astra 跟子 agent 通信时用的那套语言，他觉得很迷人。主持人一度以为是长度惩罚或简洁奖励造成的，但有人数过 token，直接用平实语言反而更短，所以这个解释站不住。Eric 说他想不通机制，但纯从科学角度，他很想搞明白这套语言是怎么长出来的，研究清楚了对监控也有帮助。

更远的隐忧是 latent chain of thought。Astra 这类模型可能在一次确定性的前向传播里完成大部分思考，推理不再落在 token 流上。他对能找到的开源 loop transformer 系列 ORO 做了 forking paths 分析，发现不确定性动力学依然存在，答案分布仍然在某些 token 处跳变。这让他稍微安心：即便思考大部分发生在潜空间，最终落到 token 时还是有一次采样，还是有一次掷硬币。他说自己不想要一个同样输入永远同样输出的世界，那是模式坍缩的极端版本，等于取消了一切视角多样性。他也承认，潜空间推理会把这件事改变成什么样，他现在还在琢磨。

关于 phase transition 到底该不该觉得诡异，他的态度是：如果你既要模型有输出多样性，又要每条路径自洽，那分叉大概是不可避免的副产品。真正该改的是发生的位置。左括号那种 token 触发分叉，背后是互联网语料里某个古怪的统计偏置，这种分叉如果能被训练掉，或者至少被挪到语义上说得通的位置，会好很多。他更想要的是一层界面：不管转折是急是缓，用户都该看到"这里模型本来可能走另一条路"。他怀念 OpenAI 早年那个能悬停查看 token log 概率的界面，也提到一个叫 loom 的实验性界面，希望下一代产品把不确定性重新摆到台面上。他吐槽现在的聊天界面还停留在 Eliza 时代，文本框进，文本框出，明明可以做得更像 GUI，而不是更像 bash 终端。

明天就能用上的几件事

关于怎么用 Goodfire 的 Silico 研究 agent，Eric 的建议对其他 agent 同样适用。

• 别把整个项目甩过去。让 agent 自己跑一个大而空的问题，它很容易陷入自洽但不成立的理论，产出一堆看着漂亮的图和描述。
• 把逻辑讲给它听。每次说"这个不对"，补上为什么不对、接下来想做什么、更大的目标是什么。他的比喻是：agent 像一个刚被空投到图书馆里的人，醒来一脸懵，你得告诉它这是哪。
• 科学品味自己拿着。他那篇 Forking Fast 论文全程由 Silico 完成，一周出货。真正的转折点是他自己高密度采样后看到曲线是平滑的，才想到可以用统计模型去拟合，省掉大量采样。这个念头 agent 没提出来。他引用同事的话：agent 产出的东西越像样，研究品味越值钱。用 Silico 的感觉像带一个很勤奋、技能齐全，但大局观还在形成中的一二年级博士生。

整期对话落到最后一个数字对比上。造模型的是万亿级公司，可解释性这个方向最大的公司估值刚过十亿。Eric 说这不是某个技巧缺失的问题，是资源投入比例的问题。学术界经费本来就在缩，美国的高校资助环境还在变差。他的结论很直白：理解 AI 是现在最值得做的事之一，而理解的速度，目前追不上能力增长的速度。

如果只从这期节目带走一件可执行的事，那就是：下次模型给出一个你打算直接采信的答案，尤其是那种它显得毫不犹豫的答案，多问一句"换一种思路呢"。Forking paths 的实验说明，那个答案背后可能有一堆被采样过程随手掐掉的备选，而模型自己从来不觉得可惜。