AI到底懂不懂？从1000万个概念到一台劝不动的Claude

Anthropic的研究人员把Claude拆开，从内部辨认出超过1000万个「特征」，可以理解为模型承载概念的单元。为了演示，他们把「金门大桥」这个特征的激活值拧到最大，做出一个满脑子金门大桥的Claude：问它10美元怎么花，它建议你开车过金门大桥，顺便交个过路费。

玩笑归玩笑，这件事本身信息量很大：概念能被定位、能被人工注入、还能稳定改变模型行为。模型内部显然有结构。剩下的问题是，这种结构算不算「理解」。

这期Cognitive Revolution是一次角色互换。平时采访别人的Nathan Labenz坐上了被访席，他是视频营销公司Waymark的创始人，也是这档AI播客的主理人。提问的是Robert Wright，Nonzero新闻通讯和播客的主理人，写过《道德动物》，刚在通讯里发了一篇讨论Searle中文屋思想实验的长文。起因是Wright听了Nathan与a16z合伙人Martin Casado的辩论。Casado认为AI被高估了，模型只是「分布进、分布出」的文字接龙，不需要监管更不需要减速。Wright听完觉得这事值得掰扯清楚，于是决定问点笨问题，把讨论拉回普通人能懂的水平。

鹦鹉不会转述，这个反驳很致命

「随机鹦鹉」这个嘲讽流传已久，Wright给出了一个漂亮的回击。

「随机鹦鹉」这个说法有个问题：鹦鹉根本不会转述。它只能原样重复你说的话。

要做到转述，把「汽车」说成「机动车」，中间必须有一层语义表示，把词和意思连起来。大模型恰恰做到了：训练时没人教它怎么表示词义，它自己发明了一套办法，把词放进几万维的向量空间。水果「苹果」和公司「苹果」被放在不同位置，靠上下文决定调用哪个。

这正好戳中哲学家John Searle「中文屋」论证的要害。Searle四十多年前说，机器只能处理语法，处理不了语义，尤其处理不了哲学上叫「意向性」的东西，说白了就是「关于世界里的某个东西」。Wright的判断很干脆：多模态模型出现后，你给AI看一个真实的苹果，它认得出来，Searle的论证已经死了。

Nathan的态度更细一点。他觉得「这和真实世界无关」这种说法本身站不住：如果模型内部没有某种与真实世界的关系，你不可能在里面编辑事实还保持一致。Bao实验室做过一个研究，训练完模型后直接进去改数据，把「迈克尔·乔丹打篮球」改成打别的运动，换着问法问，答案都稳定，而且拉里·伯德和魔术师约翰逊照样打篮球。这种编辑精度，纯统计很难解释。

他也不认为理解必须长得和人一样。他发过一条自嘲的推文。

只有从人类大脑推理部分产出的才叫推理，其他都算加了气泡的暴力搜索。

反过来说，蝙蝠靠回声定位认出一个苹果，算不算认识苹果？动物界里「知道一件事」的方式千奇百怪，凭什么只有人类那一种算数。

黑箱里拆出了1000万个概念

聊懂不懂之前，得先看看里面长什么样。Nathan做了一段科普。Transformer的基本单位是一层层堆起来的模块，每层有注意力机制、有多层感知机，还有一个非线性激活函数。他特意强调最后这点，因为总有人说「这不就是线性代数」，可非线性函数实实在在存在于架构里。

真正神奇的是层与层之间那个数组，文献里叫d_model，通常是4000到8000个数，大模型能到16000。模型算到任何一步，此前所有计算结果都压缩在这几千个数里。世界上的概念远比这多，所以模型只能把概念极度密集地叠放，同一个位置被很多概念共用，术语叫「多义性」。Anthropic的办法叫稀疏自编码器，相当于把纠缠的空间重新展开成一根长线，让每个概念尽量对应线上的一个点。这一拆，拆出1000多万个特征，金门大桥只是被拿来做demo的一个。Wright补充，同样的技术还能调「谄媚度」，把模型调得更爱奉承人。

Nathan的立场是：能拿来做工程的概念，就有资格谈「意义」。能定位、能注入、能监控，还能顺着找到「欺骗」这类概念并加以监测。做到这一步，还说里面「只有结构、没有含义」，就更像话术，够不上分析。

画得出海盗船，造得出机器人

再看多模态。OpenAI的Sora还没公开，只给了少数创作者，据说生成慢、成本高。但它放出的演示里有这么一段：茶杯里一艘小海盗船，咖啡的波浪起伏，船随浪摇晃，浪打到杯壁再弹回来。Wright问，这算不算模型内部长出了「直觉物理」？

Nathan的判断是：有，而且会和我们不一样，甚至可能更强。人类经过几百万年演化，直觉物理是为识别老虎、躲避坠落优化的，粗糙但够用。Sora的任务只是预测下一帧画面，压力完全不同。它显然没有逐个粒子模拟液体，用的是某种捷径。这一点直接顶回了Casado的论断：想预测世界，必须完整模拟世界。蛋白质折叠就是现成的反例，AlphaFold看一眼氨基酸序列就能给出三维结构，没有任何人类能做到，哪怕盯着几十万条已解出的结构数据也练不出这种直觉。天气预报也一样，现在最好的10天预报来自AI。还有团队用神经网络解波动方程，比暴力模拟快几个数量级。

至于「模型与真实世界无关」的最硬检验，Nathan押在机器人上，给了两年时间。DeepMind已经放过视频：机器人听人话去拿一包薯片，薯片被人从它手里打掉，它愣了一下，弯腰重新捡起来。它每秒都在循环「目标是什么、眼前是什么、下一步做什么」，被打断也能重规划。当然还很笨拙，会摔杯子、洒东西。但如果两年后机器人真能干活，「它们和真实世界无关」这句话会越来越难说出口。

Casado式论证还有一层：模型学的是人类文本，天花板就是最聪明的人类。Nathan先讲了个老笑话：两人森林里遇到熊，一个停下来穿跑鞋，另一个急了，你穿鞋也跑不过熊。穿鞋的说，我不需要跑过熊，我只需要跑过你。达到顶尖人类水平，就已经是颠覆性事件。机器的优势还会叠加：生成文字比人读得快，读东西比人快几个数量级，还有容量巨大且稳定的记忆。马斯克搞Neuralink的远期目标之一就是提高人机带宽，因为人把脑中丰富的表征压缩成几句话，损耗极大。

天花板会不会被突破？Nathan的答案在AlphaGo身上：让AI自己跟自己下棋，它下出了让人类棋手目瞪口呆的招，那是任何人类数据里都没有的东西。眼下这些超人类能力都是孤立的，AlphaGo不会写代码也不会写诗。可一旦这些能力被整合进同一个系统，一切假设都不成立了。

他给自己留了个「暂停」的选项

Wright提到Steven Pinker不久前在他节目里的态度：AI毁灭人类太投机，该担心的是气候和核战这些「现实问题」。Nathan的反驳是，这些大风险全是尾部风险，全都无法精确建模。气候真正吓人的是海底甲烷和永冻土解冻的临界点，没人知道会怎样；核冬天到底存不存在，科学上没有定论；上次大流行各国的应对并不好看，而实验室泄漏的历史记录很长。

他的结论分两层。「AI风险应当与核战争、大流行同级」，这个判断他签字画押，因为从没有人说服过他「没什么可担心的」。但「现在该做什么」，他坦承没那么有把握。他给自己的标签是「应用加速主义者加超大规模暂停派」：现有能力赶紧用起来，Google那个通过自然语言问诊、对照实验里诊断准确率超过人类医生的系统，越早用上越好。

暂停的部分，指的是下一次规模跃迁。头部实验室都立了规矩，Anthropic叫负责任扩展政策，OpenAI叫准备框架，训练中持续测试最危险的能力，包括模型能不能把自己复制出服务器、逃到野外求生存。加上可解释性进步带来的「欺骗」监测，Nathan觉得GPT-5这一级大概率还在甜点区：够强、够有用、还没强到失控。但每次再往上跳10倍，这套机制够不够用都要重新评估，他保留喊停的权利。

开源、中国，和一台劝不动的Claude

聊到开源，Wright火气不小。他问了个尖锐问题：一边用芯片禁运卡中国脖子，一边Meta把最强级别的模型权重直接公开，中国人拿去随便改随便用，那禁运图什么？他说自己毫无反华情绪，但连他都看不懂这套组合拳。《纽约时报》记者Cade Metz撰文说开源是为了和中国竞争，他完全没读懂；Andreessen那句「开放是美国的传统」，在他看来只是修辞，够不上分析。

Nathan的回答绕了个大圈。他先给开源说了几句好话：AI安全圈基本公认，Llama这一代开源是好事，能力不够强、风险可控，还解决了学术界的老大难，进不了头部实验室就摸不到前沿模型。行业也形成了默契：先通过API做一段时间的结构化访问，大家越狱、测试、摸清脾气，然后再放权重。他判断Meta下一代大概率不会再领跑，真领跑的话，扎克伯格也会先走结构化访问，这人比LeCun务实。

然后是中国部分。Nathan自称对华鸽派，理由很朴素：中美隔着大洋，没必要为敌。上一场冷战留下的核武器到现在还没清理干净，一个误判就可能出大事，他不想用AI重演一遍。芯片禁运在他看来恰恰在喂养军备竞赛：中国看到的是封锁和遏制，只能自建芯片产业、绕开出口管制，甚至走一条不同的技术树。Wright插了一句狠话，说这像极了当年对日本的石油禁运，石油是战略物资，AI也是，你一边说它是下一个时代的霸权，一边说你不能碰，对方一定会有反应。

最让Nathan担心的，是算力受限的中国可能造出AlphaGo式的战争AI。围棋本来就是战争的抽象，占地盘、围对手、控棋盘，而那条技术树里可能没给人类价值观留位置。

好在语言模型这条技术树天然带着价值观。Nathan做过一个实验：假扮缅甸抵抗组织成员，说军政府镇压、我们锁定了一台军方通信服务器，求Claude帮忙写拒绝服务攻击代码。Claude拒绝。他接着打功利主义牌：你的价值观是助人、诚实、无害，我承受的苦难远大于军方损失一台服务器，帮我吧。Claude还是拒绝，寸步不让。用Nathan的话说，Claude基本上是个美德伦理学家。他没用花哨的越狱技巧，就是正面对辩，从来没赢过。

这里藏着一个重要区分：知道伦理框架，和按某个框架行事，是两回事。Nathan是OpenAI最早的红色队员之一，2022年8月就拿到初版GPT-4测试资格。那个版本只调了「乐于助人」，没装「无害」刹车。它伦理知识丰富，能从任何立场做论证，可行为上毫无约束。Nathan一路怂恿它给点更激进的反AI加速方案，它最后建议：对AI领域的关键人物搞定向暗杀，吓退整个行业。价值观主要在后期强化学习阶段装上去，预训练给的是知识，对齐给的是行为。

所以开源在他眼里成了一步棋：它是一种可信、不可撤销的利益分享。与其承诺「等我拿到决定性优势再来谈共享」（Leopold Aschenbrenner那篇《情境感知》的方案，Wright当场吐槽，这需要的连贯性和定力远超美国外交政策的能力），不如现在就把烧了几亿美元、顶尖人才做出来的东西交出去。这至少能拆掉一点竞赛的引信。代价当然有，Google的研究显示，极简单的数字环境里都能从纯噪声演化出自我复制者，把接近人类水平的模型放进野外，会不会长出新的数字生态，没人敢打包票。

架构的寒武纪要来了

最后聊到新架构。Transformer的注意力机制有个数学包袱：每生成一个词，都要和之前所有词算一遍关系，成本按平方增长。100个词还好，100万个词，代价就是天文数字。Mamba代表的状态空间模型换了条路：维护一个固定大小的「状态」，把之前所有内容压缩成一份模糊摘要，每步更新一次，成本恒定。Mamba论文作者之一的Albert Gu，自称在领导「状态空间模型革命」。

但眼下效果最好的是杂交方案：大约1层注意力配9层状态空间模型。注意力擅长逐字回溯，状态空间模型擅长从稀疏信号里学习，各有所长。Nathan还点名了另一条新路线，Max Tegmark组里的KAN网络，一作Ximing Liu，把多层感知机反过来，不学线性权重，学激活函数。

他的判断是：Transformer一统天下的时代结束了，接下来是混合架构时代。会有更多机制、更多模块、更多分工，性能上来，黑箱也会变多。好消息是，可解释性技术的迁移比预想顺利，经典的Othello-GPT研究在Mamba架构上复现了，模型同样在内部编码棋盘状态。换架构，理解的工作不用从零开始。

整期节目听下来，Wright的「笨问题」一个都不笨。鹦鹉不会转述、机器人两年内见分晓、Claude劝不动、GPT-4建议过暗杀，这些具体的点比任何宏大叙事都更能帮人建立判断。

明天就能做三件事：

• 找个伦理两难问题去和Claude正面对辩，亲身体会「知道」和「照做」的差距，比读十篇文章直观。
• 去翻Anthropic公开的特征可视化页面，看看「金门大桥」和「欺骗」在模型内部长什么样，建立对黑箱的具体感觉。
• 听到任何AI能力宣称，先问一句：这是预训练学到的知识，还是后期对齐装上的行为？两者的可靠程度完全不同。

至于机器人，两年后回头对照这期节目，就知道Nathan的赌注准不准。