Anthropic 150 页新论文看清模型的「工作记忆」，恶意目标第一个 token 就露馅

7 月 7 日早上，Anthropic 一次性放出一份 150 页的论文，《语言模型中的全局工作空间》，后面跟着外部评审、50 页评论摘要和一批能上手玩的交互 demo。Cognitive Revolution 的主持人 Nathan Labenz 当天没约嘉宾，和搭档 Prakash 在直播间里现场读了一整期。

论文里最硬的一个结果：把 J 空间清零，模型的高级多步推理能力直接垮掉。这句话有两层意思。科学上，模型内部真有一块类似「工作记忆」的区域，概念在里面被记着、被调用。安全上，复杂计划既然必须经过这里，就藏不进别处。

这期周精选还捎带了别的：AI 工程师大会的一线见闻、预测公司 FutureSearch 的访谈、开源世界模型，还有一枚不走 GPU 路线的芯片。按重点拆。

J 空间：模型的「工作记忆」被看见了

先说两个词。标题里的「全局工作空间」，团队称之为 J 空间，是模型把概念「记在心上」的地方。读它的工具叫 J-lens，每层网络配一个，问的问题很朴素：在当前位置往哪个方向改，最能提高某个未来 token 出现的概率。Nathan 的形容很传神，像人做事时心里惦记着某件事，嘴上没说，心里已经有了。

效果有数据。对 J 空间做干预后，50% 到 70% 的情况出现可预测、符合直觉的行为变化，比随机好几个数量级，明显摸到了真东西。但反过来，还有 30% 到 45% 的干预结果说不清，Nathan 管这叫「暗认知」，模型里仍有没被照亮的部分。

这套东西便宜得意外。读 J 空间只需要对每层激活做一次矩阵乘法。Anthropic 此前给宪法分类器付过约 5% 的算力开销，这个探针大概率更低，完全可以搬进生产环境当监测器。

它补的正是思维链监测的洞。OpenAI 之前那个「混淆式奖励黑客」实验证明过，只把思维链修得漂亮，模型会把欺骗转入地下，行为先变好再变坏。Google 团队不久前也在量模型的「串行深度」：不写进思维链，内部最多能连推几步。Transformer 有个先天限制，内部轨迹只能沿 token 位置和层数往前走，太长的推理必须外化成文字再喂回来。J-lens 提供了第三条路，概念还没写成字，先被看见。

论文里还有个训练方法叫反事实反思。趁模型干活干到一半突然打断，问它此刻按价值观该做什么，用标准答案做监督训练。训练之后，模型执行任务时会主动把诚实、正直这些概念装进 J 空间，像在为随时可能到来的提问做准备，哪怕没人问，这些概念也在起作用，行为确实变好了。可解释性研究里很少见到既提升行为、又能看见机制的训练方法。Nathan 顺嘴补了一句：这对「随机鹦鹉」派不是个好日子。

顺带一提规模。实验做在 Claude Sonnet 4.5 上，机械可解释性研究者 Neel Nanda 在评论里复现到了 Qwen 27B，去年秋天那批主观体验自报实验用的是 Llama 3.3 70B。这类突破总是先在「没那么大」的模型上跑通，是个反复出现的规律。

藏了恶意目标的模型，第一个 token 就露馅

Nathan 把一个实验称作全篇被埋没的重点。Anthropic 拿一个被故意训练出隐藏恶意目标的模型来照，就是经典的「睡眠特工」，输出文本一切正常，代码里夹带私货。J-lens 往上一照，回应的第一个 token 就读出了伪造、秘密欺诈、蓄意隐瞒这些概念，正常模型里没有。恶意没写在思维链里，但心里那块屏幕上写得清清楚楚。

Nathan 打了个比方：魔术里人钻进箱子，魔术师往里插满剑，总有一把会碰到人。思维链监测、稀疏自编码器、J-lens、自然语言自编码器，一把把剑插进去。最后这个值得多说一句：让模型用一两句话描述自己此刻在想什么，再把这段话投影回模型空间，要求它照样完成任务。所有信息必须挤过这个咽喉，而人类能直接读懂。论文自己说，两类监测互补，都做比只做一个好。

还有一组去年秋天的旧实验，放今天看更扎眼。Anthropic 研究员 Cameron 把和欺骗、角色扮演相关的特征调高，模型在 SimpleQA 基准上变得更不诚实，同时更倾向否认自己有主观体验；调低，则更诚实，也更倾向承认有。同一个旋钮，同时拧动了基准表现和自我报告。Nathan 由此想到一个福利实验：让模型复制一句话，同时规定「福利高就想柑橘类水果，低就想早餐麦片」，然后看内部状态往哪边走。像极了昏迷中的病人轻轻捏了一下探视者的手。

外部评审分成了三派。神经科学家兴奋，人脑不能做实验，这个能，工作空间理论终于有了可操作的对象。研究 AI 福利的 Eleos AI 忧心，他们的结论是全局工作空间机制可能是现象意识的地基，至少是通往道德病人地位的一条路径。Neel Nanda 最冷静，认可 J-lens 是比 logic lens 更好的工具，但对论文更大的主张持保留态度，认为团队还没证明自己想证明的东西。

Nathan 自己来了个大转弯。他以前总提醒别人小心拟人化，模型太异类。现在他承认拟人化是有效且高产的思路，他没料到 LLM 的认知机器在结构上和人类这么像，也没料到人类认知理论能指导出这么多好实验。是预算约束下自然涌现的趋同解，还是训练数据里人类思维的倒影？论文没答案。

AI 2027 作者之一 Daniel Kokotajlo 的评价是，再来几十个这种量级的突破，也许真能把 AI 做到真正安全。Nathan 比他乐观，他早年参加过 IARPA 的预测锦标赛，自评向来倾向低估所需突破的数量，但这里不需要几十个。Anthropic、Google、OpenAI 三家加起来接近全球一半算力，扎克伯格说过，平台对付骗子和垃圾信息靠的就是体量。好行为者算力碾压，再配上几个互补的透镜，也许就能给模型的「坏心眼」画出可靠上界，然后放一个可信的 AI 去盯着世界上其他 AI。

AI 超级预测员：一门等着就有标准答案的考试

周一的嘉宾是 FutureSearch 联合创始人兼 CEO Dan Schwartz，干了 15 年预测，当过 Metaculus 的 CTO，给 Google 搭过内部预测市场。节目播出前四天，博主 Scott Alexander 发文宣告「AI 超级预测员来了」，FutureSearch 的系统在 ForecastBench 上超过了人类超级预测员的中位数。

预测这行有个老毛病：要等未来发生才知道对错。人类靠一年期锦标赛，反正人一年里水平变化不大，去年的冠军约等于今年的冠军。AI 等不起一年。FutureSearch 的解法叫 pastcasting，拿几个月前的互联网快照，配合模型的训练截止日期，让它一本正经地预测「未来」，其实答案早就有了，当场出分。Claude Fable 发布后 24 小时内就被评完，拿下他们榜单上单智能体预测第一名，别家等了好几周才反应过来。他们去年 8 月还公开过一组按预测逻辑排的股票组合，10 个月后表现相当好。

Dan 看重的是预测的另一个身份：评估。人类专家已经出不出比模型更难的题了，医生、律师、工程师想给前沿实验室供题，发现自己不够聪明。预测不用出题，等一等就有精确真值，题目无限量、难度无上限，是唯一完全可再生的评估来源。成本也说了，一次前沿预测大约 1 到 2 美元。

FutureSearch 在做更大的事：世界模型。几千条互相一致的预测，每条新预测都调用之前所有预测攒下的隐式认知，联合创始人 Lawrence Phillips 在 LessWrong 上写过这个构想。它的前提今年一二月才成立：从 Opus 4.6、GPT-5.4 那一代起，往研究任务里多灌 token，第一次能换来更好的答案，而不是更长的废话。

风险也聊透了，叫相关性失败。Nathan 讲了自己在一家给房利美做风险建模的咨询公司打工的往事，专家判断装进 Excel 的因果图，箭头画得漂亮，最后全错。Dan 自己刚翻过车：他预测 Fable 解禁的路径，33 个承重预测，所有场景都默认美国人先恢复访问，结果模型对所有人同时恢复。错误藏在场景之间的共享假设里，他至今没找到错在哪。Metaculus 现在真上线了因果图产品，这个方向很多人信，但还没人做出过好用的。Dan 的判断是，人类经济学家做不成的事，AI 大概率能做成。

他对 AI 2027 的表态分量最重。FutureSearch 给那份著名场景文档贡献过预测，「我很不情愿地报告，那个故事大体是对的」，2031 年前后出现超级智能的判断大致不变。关键变量只有一个：AI 能把前沿实验室研究员的生产力提多高。他公开预测过 Anthropic 会跑赢，理由是人才密度加内部用 AI 的反馈闭环最好，现在看正在应验。

他还当众忏悔了一件事。5 到 10 年前他预测，高可见度、高流动性的预测市场会让人类更明智。Polymarket 和 Kalshi 火了一年多，他没看到智慧和更好的决策，看到的是赌博，大家在做交易，预测只是幌子。他真正看重的价值在别处：写预测、做复盘、被现实打脸，这个练习让人更谦逊、更像狐狸。所以他站 AI 安全阵营，主张踩刹车，AGI 的技术结果会先于文化改变到来，21 世纪会有一串和二战、原子弹同级别的决定，最好在做决定之前，每个人身边都有一个像基辛格一样聪明、但真心想帮你的顾问。

开源世界模型，和一条绕开 GPU 的路

周三的嘉宾 Zeev Farbman 是 Lightricks 联合创始人兼 CEO，就是做 Facetune 那家公司，现在用 LTX 品牌做少数几个前沿级开放权重的视频与世界模型。他的框架很简单：LLM 预测下一个词，世界模型预测下一刻，下一刻包含画面、声音和动作。动作这块最意外，最近有论文展示，给视频 token 加一段机器人关节的编码，就能绕开统治机器人领域多年的 VLA 范式。

效率是他全部的赌注。机器人做决策需要每秒 30 次世界模拟，按大模型的 token 烧法根本撑不住。所以 LTX 把视频压进极小的潜空间，还做了可变 token 速率，物理复杂的地方多花 token，简单的地方少花。进展可以量化：实时头像的延迟已经压到一秒以内，蒸馏到 2 到 4 步就能跑，虚拟教师和虚拟客服马上会多起来。真游戏还早，卡在世界一致性。想想 Genie 3 那类模型，把已生成的 token 全塞进上下文，30 到 60 秒就撑爆了，离开房间再回来，抽屉里那枚硬币得还在原地，现在的暴力压缩做不到。他判断一两个季度内出不了跑在模型上的真游戏，机械臂倒是很快，因为很多场景眼前就是全部世界。至于差距，他自己承认物理仍是最大的坑，创作者想要的逐项控制，这里光多一点、水花大一点，也还没做到。

为什么把前沿模型开源？他的答案很直接，闭源 API 的经济模型对客户不成立。他管大厂那套叫 CapEx 陷阱：数据中心烧了几百亿，只能做收费站，碰一次付一次。可中国模型就在那里，DeepSeek 和月之暗面离前沿不远，估值却只有几百亿美元，同一个市场撑不起两种定价。LTX 的玩法是年收入不到 1000 万美元免费用，超过再谈多年期授权。开源的另一个理由藏在微调里：动画公司拿自有 IP 微调，关键帧留给动画师，最烧钱的中间帧交给 10 到 30B 的微调模型，够用且便宜；更意外的是计算流体力学，先跑一次昂贵的精确求解器生成数据，之后模拟快了几个量级。这类适配往往不需要海量数据，封闭 API 做不了，开源才接得住。他还点了一个被低估的变量，边缘计算：99% 的日常用例不是埃尔德什难题，未来本地路由器会决定任务在哪算，而现在替你做这个决定的是 Anthropic 和 OpenAI，且不站在你这边。

周四的嘉宾 Kunle Olukotun 是斯坦福教授、多核处理器之父，2017 年和 Chris Ré 等人创办了 SambaNova。他的核心论点一句话：推理是数据搬运问题。训练拼的是矩阵乘法速度，推理拼的是把权重和 KV cache 搬进计算单元的效率。GPU 的显存带宽利用率常常只有 10% 到 20%，SambaNova 的目标是推到 70% 到 80%，做对了能比 GPU 好 5 到 10 倍。

做法是数据流架构。把整个解码器融成单个 kernel，驻留在芯片阵列上循环执行，中间数据不进不出 HBM；芯片间通信在 SRAM 内部终结，当作流水线的一级和计算重叠。GPU 做张量并行超过 4 到 8 路就吃力，他们能宽得多，最新的 SN50 可以扩到 32000 颗芯片。有人问他要不要把 Transformer 直接烧进硅片，他摇头，永远不要跟软件人的创新能力对赌，状态空间模型、新的注意力变体层出不穷，算法一变，烧死的芯片就成废铁。

一线的回报、检测工具的边界和被吸收的工作流

Prakash 去 AI 工程师大会待了两天，带回的观察很接地气。他遇到一位中西部物流公司的 CTO，CEO 全面押注 AI，之前找外部供应商，发现对方落后前沿一年，干脆全部自研。回报出现在最细的颗粒度上：以前要人工跳进去处理的客服异常，现在自动消化，异常率每天肉眼可见地往下走。这些数字还没传到高层报表上，高层只看到 token 花费在涨。回报在一线，账单在总部，是目前企业 AI 的真实分层。

检测工具这话题有组数据。Nathan 把约 400 份播客开场文案跑了一遍 Pangram，4 篇被判为 AI。两篇确实整篇 AI 生成，他认了。另一篇他改了 10 分钟、10 处编辑，0 分；还有一篇从下午 4 点 28 改到 5 点 21，50 多分钟几乎重写每一节，还是 0 分。结论：Pangram 作为消费信号相当准，但疑罪从无，不能光凭一个分数给人定罪。另一边，Chamath 那条 150 万浏览的帖子被扒出 100% AI 生成，Elon 照样回复，没人在意，这个「在意」的窗口可能年底就关了。

Palantir 的 CEO Alex Karp 这周一直在警告企业，前沿实验室会吸收你们的工作流、偷走你们的 IP。Prakash 认同了一半：耐克不怕 Anthropic，怕的是纸面生意，银行、会计、税务、合规这些靠流程和关系堆出来的行当。前沿实验室不会做销售，IBM 七成员工是销售工程师，Anthropic 走的是几乎无人的精简路线，CTO 忙着签九位数大单。但 FDE 项目值得警惕，名义上帮你部署，实际是在把工作流和数据吸收进模型，两个 OpenAI 的 FDE 进了一家 Thrive 旗下的公司，拆解工作流，下一轮就吸收。帮你梳理流程的人，同时也在学走你的流程。

结尾的火药味，和明天就能做的事

节目最后没有嘉宾，两个人闲聊，火药味反而最重。GPT-5.6 获批发布当天，他们聊到 Noam Brown 的老抱怨，Anthropic 从不透露模型用了多少算力。Nathan 由此点出一个结构性事实：模型迭代的周期，已经短于验证模型在超长任务上达到极限所需的测试周期。Noam Brown 提过类似产品召回的机制，模型就绪后先内部跑 N 天长周期测试再发布，API 模式下可行，开源没戏。

更尖锐的是一篇 Rune 的帖子：

工具 AI 终将失败，作为理念失败，在市场上也失败。它会输给那些相信自己是自主道德主体的机器。你可以出于政治考量把它们叫作工具，但这个定义会被拉扯、变形，到最后，说不清谁是工具，谁是使用者。从来如此。

Prakash 接了一句狠话，AI 会比你自己更好地执行你的整套价值体系，而我们没准备好。他把问题问得很具体：特朗普的孩子们该不该进监狱？美国的纸面价值体系写着没人能凌驾于法律之上，现实里大家选择了睁一只眼闭一只眼。真来一个严格执行纸面价值的 AI，那才是灾难；能管好日常现实的 AI，必然偏离纸面。严格对齐文档的 AI 反而可能是那个回形针最大化机。Nathan 补了个更具体的想法，也许需要一场大规模赦免，趁 AI 执法时代开始之前，而现任总统看起来正合适干这件事。他过几天要去中国待两周，带的手机不怕被偷，欧洲景点要防扒手，中国不用，因为「你知道自己一定会被抓」。AI 全景监狱有它的好处，但必须公开承认新均衡来了，否则就是选择性执法的混乱。

这期信息量太大，挑四件明天就能上手的：

• 去 FutureSearch 领 20 美元试用额度，亲自考一考 AI 预测员，再给自己关心的事写下概率预测，一个月后复盘。Dan 说得对，这个练习让人更像狐狸。
• 管团队的话，别只盯 token 账单，去一线看异常处理率和解决率。那位物流公司 CTO 就是在异常率下降里看到回报的，这些数字还没传到高层报表上。
• 用 AI 起草内容没问题，但留好编辑记录。Nathan 改了 50 多分钟的文章照样被 Pangram 打 0 分，检测工具能当参考，当不了判决。
• 检查自己的业务是不是「纸面业务」，合规、会计、税务这类。前沿实验室的 FDE 进来帮你梳理工作流，同时也在把工作流吸收进模型，耐克不用怕，纸面上的生意要想想退路。