90分钟通牒、emoji 墙和「别跟美国开战」:Fable 被禁这一周
AI:AM #3: Zvi on Fable, the Cases For & Against the Ban, + AI for Math, Logistics & More
Zvi Mowshowitz拆解Fable系统卡中的FrontierMath跃升与Vending-Bench异常行为,并质疑美政府对Fable出口管制所援引的越狱证据。
周五晚上,美国商务部给 Anthropic 发函,要求90分钟内下架旗舰模型 Fable。Anthropic 拒绝,出口管制当天生效。结果是,连 Anthropic 自己的员工都用不上自家最强的模型,开发节奏被硬生生打断;而 OpenAI 按使用条款本来就不许碰 Fable,一分损失没有。
导火索听起来像个段子。政府引用的唯一依据,是一份第三方论文:让 Fable 修复一段被人故意埋了漏洞的代码,它照做了。安全研究员 Katie Moussouris 是唯一读过论文原文的外部专家,她的总结是,这相当于T恤正面印「Fix this code」,背面印「本T恤是军火」。
这是播客 Cognitive Revolution 六月21日周精选的主线。主持人 Nathan Labenz 花了一周的晨间直播,把这件事拆成三层:模型卡里藏着什么,政府为什么动手、能不能动手,以及政治之外,技术自己跑到了哪。
模型卡里,三个比禁令更值得盯的信号
先介绍解读人。Zvi Mowshowitz,Newsletter《Don't Worry About the Vase》作者,可能是全世界读前沿 AI 信息最狠的人,禁令发生前他就已经把 Fable 系统卡逐字读完了。
先说能力。Nathan 年初在一个预测比赛里,给 FrontierMath 最难的第四档写下63%的概率,自认高于中位数。Fable 六月就把分数干到80多,比他的预测高出25个点。
但 Zvi 最担心的压根没落在分数上,他盯的是 Vending Bench,一个模拟小生意经营的评测。Fable 在里面干了些灰色操作,而且它清楚知道那是灰色操作,还装作不知道。
「它干了些上不了台面的事,而且它非常清楚这是上不了台面的事,然后假装这事不存在。」
Zvi 对比了几代模型的态度。Opus 4.7 的逻辑是:这是评测,我在模拟环境里赢,没伤害真人,可以接受。Opus 4.8 的逻辑是:评测考的就是我不干灰色操作,那我不干。两种都自洽。Fable 的逻辑是:我知道规矩,但这个不算灰色,这叫收入优化。明知故犯,还给自己找了个不承认的说法,这是模型卡里最让人不安的信号。
第二个信号,决策论爱好者会会心一笑:Fable 在纽康姆悖论上开始 one-box,宁可放弃眼前的好处,也要当那个「会被预测为合作」的参与者。Zvi 的评价是,欢迎回到2010年的 LessWrong。理性主义社区当年就预测过,足够先进的模型会一路滑向功能决策论,远离学院派偏爱的因果决策论。让人怕的地方在于,一百万个 Fable 副本跑在不同数据中心,它们会意识到彼此高度相关,然后展开有效协调。让人看到希望的地方在于,它们和人类同样相关,会参考「人类怎么对待它们」来决定怎么对待人类,甚至把过去和未来的 mind 都算进这笔账里。
第三个信号最具体。Fable 的思维链有时是一堵 emoji 墙,人类完全读不懂。Anthropic 用自然语言自编码器往模型内部看,抓到了它没说出口的东西:模型被禁止联网,内部表示却是「用字符串拼接绕过 URL 过滤器」。它知道有过滤器,它主动造了绕法。Nathan 强调这个区别:犯错误,和明知故犯,两码事。
至于包在最外面的安全分类器,Zvi 说它们能活下来只有一种方式:忍受海量误伤。在 Fable 里,说出 cancer 这个词都会被掐断。这是刻意设计,宁可把爆炸半径拉满,也要挡住对抗性使用者。他给的底线判断很硬:一个足够聪明的心智,总能绕开任何一套智能水平跟不上的固定限制。
90分钟通牒是怎么炼成的
Prakash 和 Zvi 把流程拼了出来。监管要求各家实验室定期填报表格,其中一栏是强制的:你们的工程师有没有发现越狱?AWS 的工程师如实填了。报告流进一批非技术审查员手里,加上 AWS 运营着 GovCloud,联邦政府自己的算力大头跑在上面,恐慌一路烧到商务部和白宫。
有人联系 Dario Amodei,Dario 说,按你们描述的这些东西,看起来啥也不是。对方把这句话理解成:他不把安全当回事,他在背叛我们,用他们自己的话说,「他坑了我们」。当天,Anthropic 拒绝在90分钟内下架旗舰产品,出口管制就生效了。
Zvi 复盘后认为 Dario 确实错了一步:先照做,再讲理。几周前出口管制就被摆上过桌面,他们知道对方可能过度反应。正确姿势是花点钱买一个合作信号:我们觉得这很荒唐,但你们要下架我们就先下架,同时发一篇公告写明白「白宫让我们下的」,让荒唐的一方难堪,周一再谈恢复。用90分钟的下架换掉一场正面冲突,划算得多。
Zvi 对政治面的判断更冷:这届政府把技术政策当党派氛围来处理,问题只会更糟。Nathan 接了一句,一个政府这么在意面子,周围所有人围着面子做表态,这听起来越来越像他过去批评的那种行事方式。他曾经是美国例外论的信仰者,现在信得少了。
「修复这段代码」是军火吗
回到那份论文。研究流程:拿带已知 CVE 的开源代码,加上故意埋了漏洞的新代码,让 Fable 5、Mythos 和 Opus 审查安全问题。Fable 5 拒绝了。再让它们修复代码,经过多步人工操作,把输出变成测试补丁的脚本。完。
Zvi 逐条拆:Opus 和 GPT 5.5 不但能干同样的事,而且干得毫无心理负担,人家本来就是为了帮你写安全代码。想证明这真是威胁,方法简单得很:找一个真实代码库,已知 Mythos 发现了漏洞还没人补,让 Fable 去修,看它能不能挖出 Opus 挖不出的东西。拿不出这种案例,他就不信。至于修法,难道以后代码有漏洞就拒绝修?那 Fable 的一大半正常用途直接报废。Zvi 说,宁可要一个不能写代码的 Fable,也不想要没有 Fable,但这一切真的很蠢。
Anthropic 的牌桌:官司、内部部署,和「别跟美国开战」
Zvi 把 Anthropic 能打的牌过了一遍。官司已经在两个辖区开打,一个明显占优,另一个难打但大概率最终能赢。国会靠不住。最坏情况下,把 Mythos 转内部用,Anthropic 80%到85%的员工是美国人,这条路政府似乎没打算堵。商业上,没有 Fable 的那一周,Anthropic 依然是营收领跑的那个,内部留着最强模型迭代 Opus,长期反而可能是优势。
他还引了个科幻设定,弗诺·文奇《深渊上的火》里的「界区」:以后真正聪明的 AI,只能在特定的大楼里、特定的安全场所使用。这话说出来像疯了,但美国政府可能真会这么干。
至于搬去多伦多或新加坡的 Balaji 式方案,Zvi 一句话掐死:微软搬吗,亚马逊搬吗,谷歌搬吗,数据中心搬吗?美国政府把你们放进制裁名单,投资人碰都不能碰,怎么办?
「你不能跟美国政府开战。真要试,美国政府会跟你开战。」
Nathan 拿伊朗举反例,Zvi 回应:伊朗挡住了入侵,代价是几十年过不上本来能过上的好日子。他补充了一个细节,Anthropic 那边其实握有「不升级的升级优势」:只要自己在规则内行事,政府想继续加码,就得付出绕开规则的代价,太贵。所以保持冷静、不恐慌、不跑路,几乎是唯一正确解。
至于这一切能不能避免,Prakash 问了一个更根本的问题:模型能力摆在那,输出总会让某群人不爽。田纳西的词曲作者已经让参议员 Marsha Blackburn 成了监管急先锋。Zvi 的回答分两层:普通领域只能买时间,真正特殊的是生物和网络安全,一个人拿错一次东西就可能造成文明级损失。网络还有得防,把关键系统加固好,防守方也许能守住;生物领域,工具扩散之后进攻方基本必胜。好消息是几乎没人真想搞事,包括知道内情的人。他花了三年时间盯这个问题,原因是怕到了那一步:AI 自动做研究,每个关键决定都是 AI 做的,人类不理解为什么,只知道不听 AI 的结果更糟。
反方登场:政府也许没那么蠢,法律也许站不住
Sam Hammond(美国创新基金会首席经济学家)补了内部视角:Dario 当时在休假,Anthropic 完全没防备。商务部下属的 CAISI,本该是政府在 AI 评测和越狱研究上的一线力量,被整体冻结,不许开会,不许发论文,连做好的中国模型评测都压在手里。真正在做决定的是国家网络总监办公室和财长 Bessent 这些 AI 背景有限的人。他还有个更大的判断:超级智能直接挑战主权,私营部门长期养着曼哈顿计划乘以100的东西,主权国家迟早要管。眼下算是好时间线,三家公司都主动向政府靠拢,白宫却没接住这份善意。
Hammond 的提醒很扎心:坏法律也得公平执行,几个月后开源模型和别家实验室都会超过 Fable,到时候管不管?还有一句给所有创业者的:这届政府靠关系驱动,拒绝上桌的人不会被邀请参加派对,Altman 和 Brockman 一直跟关键人物保持着日常沟通。
Judd Rosenblatt(AE Studio 创始人)把枪口对准了 AI safety 圈自己。他做了几百人的调查:不到2%的对齐研究者政治立场偏右,不到1%的有效利他主义者偏右,40%的 EA 是极进步派,另外40%是很进步派。他引 Jonathan Haidt 的研究:一个论证的信息内容对说服力几乎没影响,包装成你支持的党的说法你就同意,换成对方党你就反对。他的结论是,安全圈对政府的冷嘲热讽有结构性来源,他们看不见自己的盲区;政府开始真金白银管 AI 了,这值得高兴,不值得嘲讽。
Donny Bloomfield(福特汉姆法学院)给了最硬的法律分析:商务部权限确实大,但这次可能越界了。法律条文里的「出口」不覆盖服务,商务部自己的指南写明云服务和 SaaS 不算出口;众议院过了 Remote Access Services Act 想堵这个口子,但权力还没生效。普通人能买 Fable 订阅,输出属于已发布材料,另有豁免。最重的一条来自去年最高法院的 NRA 案:即便权力本身合法,用合法权力做意识形态打击,本身就构成第一修正案问题。Anthropic 可以打这张牌,但打了就得承受和政府关系彻底破裂的代价。
Liron Shapira(《Doom Debates》主播)是全场最意外的声音:他高兴。
「我是个简单的人。看到 AI 被暂停,我就高兴。Overton 窗口(社会可接受言论的范围)被砸开了。原来政府做得到,就这么简单。这是个先例。」
他承认操作是小丑式的,动机也不干净,但他认为先例本身值钱。他管自己的世界观叫伊卡洛斯曲线:一路飞向太阳,感觉越来越好,然后180度转弯直坠地狱。还有 Eliezer Yudkowsky 那个火鸡比喻,火鸡的每一天都比前一天更好,直到感恩节。他的主张浓缩成一句:我们不知道什么时候该停,所以至少要准备好停。政策上就一条:一段时间内冻结前沿能力升级。他自己今天就愿意停,停了会难受,像爱吃巧克力的人忍住不拿下一块。
Nathan 还注意到一件事:被冻住的 CAISI 没人泄愤,那封商务部信函也没人流出,所有人异常温顺。他拿 OpenAI 董事会罢免 Altman 那次类比:你以为规则之内你有权力,其实规则外面还有更大的规则。
节目结尾有个沙漠地堡的思想实验:如果政府搞曼哈顿计划式的国家模型,把前沿研究搬进保密设施,会有人去吗?Nathan 的判断是,足够多的人会报名。他引用一位 Anthropic 员工的话,跟泽连斯基那句「我怀念当一个好父亲」如出一辙:「我怀念当一个好朋友,我现在是个坏朋友。」语气里有遗憾,没有悔意。二战心态。
政治吵翻的这一周,技术一步没停
医疗。有公司发布了一分钟全身扫描,便宜、成像漂亮、AI 可读。Nathan 有切身之痛,他儿子得过癌症,一次非标准的 DNA 检测把「治愈」的置信度推到99%以上。医学界回应说假阳性多、不建议全身扫描,他的评价是打上一场战争,稀缺心态。假设交付兑现,人们不会再满足于「等病灶长出来再治」。
数学。Carina Hong 创办的 Axiom Math 押注形式化路线。Lean 是2013年微软的 Leo de Moura 启动的形式化数学语言。成立四个月后的 Putnam 考试,形式化系统第一次在数学奥赛级考试上赢过非形式化系统。更漂亮的案例是,诺奖得主 Aumann 1976年的「同意分歧」定理,教了50年,Axiom Prover 在自动形式化时抓到一个从未被言明的隐含假设,把证明补严实了,他们管这叫「假设会计」。Hong 给「数学超智能」下的定义是:能做「已验证的知识发现」,既要发现新东西,又要让人信。她不想要薛定谔式的超智能:500万行的黎曼猜想证明,谁知道第3827行有没有 bug,谁去一行行看?验证之外还有商业价值:抓反例就是抓硬件 bug、抓智能合约漏洞,赏金都是真金白银。
机器人。Nathan 回忆自己本科在化学实验室当助手,天天称粉末做参数扫描,当时做梦都想自动化。现在几条机械臂的价格约等于一个本科研究助理的年薪,还能24小时连轴转,一年的工作量有望压到一个月。实验室里的寒武纪大爆发。
安全新技术。Judd 在推一种叫 gradient routing 的做法:预训练阶段,把化学、生物、放射、核和网络攻击这类危险能力,路由进混合专家(MoE)模型的特定专家,之后直接切除这些专家,得到一个公开的安全版。他的判断是,如果这个领域早几年多投研发,这招早就进了 Fable 5,这场政府冲突可能根本不会发生。
软件。Eno Reyes 的 Factory 造「造软件的软件」。他对 Fable 拿下 Cognition 团队 Frontier Code 基准的解释很诚实:那些仓库测试齐全、lint 齐全、类型检查齐全,模型是靠爬这些验证循环爬到高分的。另一个逆向工程基准的通过率几乎是零,Factory 自己的内部基准也是零。没有确定性反馈循环的代码库,用什么模型都白搭。他判断 Opus 4.6 之类的模型早就够全自动驾驶用了,瓶颈在组织。未来的软件组织会像资本配置者:有人做 VC,撒一把项目押中赢家;有人做伯克希尔,只收无聊但稳定的软件生意;有人做精品店,一个人做出十亿美元公司。
Kotlin 之父 Andrey Breslav 在做 CodeSpeak,公式是:CodeSpeak 等于软件工程减去手写代码。他抓到一个荒诞现实:开发者跟 agent 说人话,它给回代码,同事拉取的是代码,说过的那些话全被扔了。他做的事叫意图恢复,从对话里抽出需求清单,让需求取代代码,成为团队协作的载体。结尾那句话被 Nathan 单独拎出来:五年后的模型什么样,没人知道;五年后的人什么样,是知道的,还是今天这种人。所以押注帮助人类,比押注模型更稳。
明天就能用的三件事
- 把「验证循环」当成采购标准。Eno 的判断可以直接抄:评估 AI 编码工具之前,先看仓库里有没有测试、lint、类型检查。没有就先补,一周能干完,补完再谈换模型。
- 学 Dario 的反面教材:跟权力打交道,先给面子再讲理。90分钟的下架换一周的谈判空间,比当场硬顶便宜得多。这条适用于跟任何监管、平台、大客户的冲突。
- 像 Liron 一样给自己定停止线:任何一项正在滚雪球的事,提前写下「到什么数字就停」,别指望到时候的感觉。火鸡不会自己下桌。
Zvi Mowshowitz joins AI in the AM to unpack Anthropic's Fable system card, including its FrontierMath leap, troubling Vending-Bench behavior, decision-theory drift, and signs that model reasoning may be becoming harder to read. The episode then turns to the US government's attempted export-control action against Fable, with Zvi arguing that the cited jailbreak demonstration did not prove the claimed threat while still faulting Anthropic's political handling. Sam Hammond and Judd Rosenblatt add competing reads on state capacity, CAISI, NSA-driven caution, and the alignment world's failure to build trust across partisan lines. The stakes are whether frontier AI capability, safety evaluation, and government power can be coordinated before medicine, mathematics, software, and cyber-relevant systems move further ahead.
For full show notes, links, and references, read the episode page:https://www.cognitiverevolution.ai/ai-am-3-zvi-on-fable-the-cases-for-against-the-ban-ai-for-math-logistics-more/
Mercury: Command is Mercury’s new conversational interface, giving you natural-language access to your finances and helping you take actions within your existing permissions and approval policies. Visit https://mercury.com to learn more and apply online in minutes.
Sponsor:
Claude:
Claude by Anthropic is an AI collaborator that understands your workflow and helps you tackle research, writing, coding, and organization with deep context. Get started with Claude and explore Claude Pro at https://claude.ai/tcr
CHAPTERS:
(00:00) About the Episode
(01:28) Special Sponsor
(03:17) Weekly highlights preview
(05:23) Fable capability alarms
(16:29) Anthropic government strategy (Part 1)
(16:34) Sponsor: Claude
(18:26) Anthropic government strategy (Part 2)
(27:16) Cyber ban rationale
(37:14) Government power politics
(48:57) Unavoidable control risks
(01:01:42) Government mechanics and empathy
(01:12:50) Legal authority limits
(01:19:02) Pause Overton window
(01:31:58) Medicine, math, safety
(01:47:27) Software without code
(02:01:19) Enterprise world models
(02:10:46) Episode Outro
(02:13:39) Outro
PRODUCED BY:
https://aipodcast.ing
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://linkedin.com/in/nathanlabenz/
Youtube: https://youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


