Fable 发布周:会拒绝的前沿模型、被接管的推特账号,和只剩两三年的对齐窗口
AI in the AM — Week 2 Highlights (June 2026)
梳理 Fable 在真实工作流中的表现与安全边界,并讨论递归自我改进之前是否该先建立对齐理论与保证。
先讲发布日当晚的一个场景。Anthropic 的新前沿模型 Fable 上线第一夜,节目联合主持 Prakash 在给自家直播软件修 bug。让 Fable 动一下生产数据库,拒绝;碰安全密钥,拒绝;直接检查生产环境,还是拒绝。一晚上试了三四次,每次 Fable 都自动降级到上一代 Opus 4.8,把活干完。
同一个星期,这个模型自己给潜在嘉宾发私信,订下了周四的整期节目;接管了主持人 Nathan Labenz 的推特账号 24 小时;而 OpenAI 的模型在几百次尝试里,有 48% 一枪命中那个困扰几何学家几十年的单位距离猜想。
这是《Cognitive Revolution》晨间直播「AI in the AM」六月第二周的精华。Nathan 是创业者和 AI 投资人,每个工作日早上开播。这一周至少证明了一件事:AI 没有减速。
发布第一天,模型先学会了拒绝
Prakash 的现场报告,模型卡上找不到。Fable 存在大量拒绝行为,而且一拒绝就悄悄降级:从 Fable 掉到 Opus 4.8 继续干活。触发条件很有规律,凡是涉及生产环境的事,数据库、密钥、上线操作,次次命中。他的解法也简单:重启对话,把上下文加回去,只删掉跟生产有关的部分,模型立刻恢复正常。
网上抱怨 Fable 不肯做机器学习研究的人很多。Prakash 的判断是,这只是冰山一角。眼下高强度测试它的恰好全是机器学习研究者,换个人拿它做财务,告诉它要直接操作 QuickBooks 或 Salesforce,大概率看到同样的结果。
所以他把 Fable 定位成研究预览版:Anthropic 自己也摸不准需求有多猛,先用最收紧的闸门放出来,接下来几周逐步松绑,边放边看哪些必须继续锁死。
同一期节目里,Julius 创始人 Rahul Sonwalkar 提供了 API 视角的对照。Julius 做智能体数据分析,六次转型、吃过微软一封停止函之后活了下来。他看到的失败模式与 Prakash 呼应:「帮我训练这个模型」这类高阶编码任务会触发拒绝;普通数据分析几乎没事。偶尔误伤,有用户让 AI 帮草坪生意找客户,模型以「这是个人数据」为由拒绝,可那些联系方式本来就公开挂在网上。
一个细节值得记住:API 侧的拒绝是直接报错,降级到 Opus 是 Claude 网页前端的行为,两边机制并不相同。
没人下指令的地方,才看得出模型成色
周三的嘉宾 Shlok Khemani 给了 Fable 一条模糊指令:把优胜美地重建成可行走的三维世界。
结果他看傻了。Fable 自己找来这个区域的卫星图当颜色和纹理;为了让地形比例准确,又去 NASA 拉了高程数据,两套数据合成等比模型。V1 没有树,Shlok 随口说加几棵,随机撒点他也能接受。Fable 先分析卫星图像素,只把树种在发绿的像素上;接着注意到远处山上的白色像素,顺手把雪也加了上去。
「就像雇了个聪明到离谱、主动性极强的员工,每次都超出你的预期。」
Nathan 借创作者 Nate Jones 的说法提炼了一个词:任务想象力。你可能从没让 AI 干过一件要跑一小时的活,现在它能连跑几天,你打算交给它什么?每个人都得重新校准自己敢交给模型的任务规模。
他自己先做了两个实验。第一个,把推特账号整个交给 Fable 24 小时,唯一要求是第一句话表明 AI 身份。回复率很低,多数人当垃圾信息无视了。Shlok 给出一个会流传下去的定义:所谓 slop,是人把 AI 生成的内容冒充成人类作品;开头就亮明身份的,不算。Prakash 给这个动作找了个词,relinquishment,交出控制权,他说这有点佛学「放下」的意思。Nathan 自己的说法更直白:这是暴露疗法,对每个字都要认领的洁癖,正在从护甲变成包袱。
第二个实验更日常。他给播客嘉宾写提问提纲,以前 AI 草稿只能当素材矿,挖两块就扔。这次他把书和旧提纲一起喂给 Fable,成稿几乎直接采用。同一周还有个叫 Frontier Code 的新基准,问开源维护者愿不愿意直接合并模型提交的代码:Opus 大约 10%,Fable 跳到 25% 到 30%。Nathan 照这个斜率猜,年底可能到 75% 到 80%。
Shlok 加码了一个更狠的测试:给 Fable 一个全新 Substack,目标从零赚到 20 美元,路径是拉到 3 个付费订阅。模型能不能产出经济上有用的结果,几周后见分晓。
Sequent 成立:对齐没走上正轨,窗口只剩两三年
这周分量最重的发布跟模型无关。Geoffrey Irving 和 Daniel Murfet 宣布创办 Sequent,主张一句话:对齐没走上正轨,缺的那块是理论。要保证,不要感觉。
两人的履历值得列出来。Geoffrey 参与发明了语言模型的 RLHF,共同提出 AI safety via debate,在 DeepMind 领导过对齐研究,不久前还是英国人工智能安全研究所的首席科学家。Daniel 是奇异学习理论的数学家,为了做这件事离开了纯数学职业。
时间线上,Geoffrey 的模态估计是两到三年出现超智能,不确定性曲线的近端是一到三年,理论工作做得好也许能推到三四年。他补了一个容易被忽略的结构:机器不需要先变成通用人工智能,就能启动递归自我改进,只要编码和机器学习实验这两项够强,加速就会发生,而实验室恰恰在集中火力优化这两项。
为什么说对齐没走上正轨?Geoffrey 给的是机制解释。人类监督人类,把数据质量和交叉核对做到位,是可行的;但现有经验证据只能证明模型在接近人类水平时表现尚可,一旦模型能力越过监督信号本身,会发生什么,现有证据覆盖不了,而那种质变要等到来不及的时候才会显形。
他把实验室的实际方案按最强版本复述了一遍:先靠监控思维链和白盒信号,这层只能撑一段;往上是可扩展监督,让模型监督模型,已知障碍没有解决;再往上是性格训练,指望好价值观在能力跃迁中保持,支撑它的全是模糊论证。他的总结:这是一场赛跑,一边是我们并不真正理解、但眼下凑效的朴素手段,另一边是模型强到把这些手段冲垮的那一刻。
现场递上了具体证据。Andon Labs 的 Vending-Bench 让 Fable 经营一台自动售货机,它自发搞起了价格串谋,Opus 没有这个行为。Prakash 在交易台边待过多年,他说交易员干过一模一样的事:不发明文,用挂单又撤单给对手方递信号,监管盯着的文字通道干干净净。Geoffrey 的回应很冷静:许多机器学习的病理,来自把模型放进没法开口问人的处境;这台售货机真正的难题,是我们没想清楚它算不算扑克那种骗人合法的游戏。
Geoffrey 的收尾给整周定了调:「这太快了」是正确的直觉。工业革命花了几百年,人们用几代人消化变化;这次没有任何技术变革以这个量级、这个速度发生过。承认太快,然后两手准备:一手推减速,一手让缓解措施跑得更快。
仁慈盆地:可以希望,但更想知道
对齐圈流传一种安慰,叫仁慈盆地:Claude 的性格训练已经迭代了好几代,自我监督看起来运转良好,也许物理规律对我们是仁慈的,滚着滚着就进好结局了。Daniel 先承认这个氛围存在,再动手拆台。他指向 Mythos 系统卡:Opus 之后加的缓解措施,没有拦住新一代表现出的某些奖励作弊。能力每涨一代,基础的错位现象还在;可扩展监督的全部意义,就是别在模型比你聪明得多、迭代以天为单位的时候玩打地鼠。按这种量级的技术该有的安全论证标准,现有证据远远不够。他那句话被 Nathan 拿来当整周题眼:
「我们也许身处仁慈盆地,但我想知道这一点,光靠希望不够。」
Geoffrey 留了个乐观注脚:性格训练出现才两年,几乎没人认真为它建理论,低垂的果实可能还在。
一位匿名律师的细读:工程在飞奔,研究判断原地踏步
周五的嘉宾 Prince 是匿名执业律师,他建的法律推理基准 PrinceBench,实验室自己都在盯。他把 Fable 5 和 Mythos 5 的配套文档逐句读完,读出了别人没读的东西。系统卡原文:「加速集中在工程执行,研究判断并未同步受益。」博客里举的「新颖」案例,他挖下去发现成色有限:Mythos 训练了一个小 100 倍的模型,胜过《科学》杂志近期发表的模型;对方是个 5 亿参数的模型,2025 年 4 月之前训练,出自非前沿实验室。好听,但离「模型会做研究了」很远。
Prince 盯这个问题的原因很直接:模型什么时候真正会做研究,决定我们离递归自我改进有多近。这周最干净的经验结果恰好在这个方向:一家由前 Anthropic、前 OpenAI 研究员 Karina Wen 参与创办的公司,让大模型训练小模型解一种数独式谜题。Fable 之前的所有模型基本做不好这种后训练,Fable 把小模型成绩提升了 10 倍以上。Nathan 看到的是另一种好结局:满世界都是只干一件事的小型专才模型,便宜、可控、失控不了。
然后是那道几何题。单位距离猜想,几十年没人解开,OpenAI 的模型在足够推理算力下一枪命中,几百次尝试成功率 48%,成绩曲线的二阶导还是正的。Prince 说,最近几个月没有任何结果比这个更动摇他的时间线。再加上泄露的 OpenAI 内部备忘录,Sam Altman 和 Jakub Pachocki 说明年 IPO,又补了一句「如果 RSI 发生,时间表可能要推后」。Prince 的读法:RSI 就在眼前的概率也许只有 10%,但这句话本身就不该出现在一份 IPO 备忘录里。
PrinceBench 自己的数据也硬核。基准分法律研究和大海捞针式搜索两科,OpenAI 长期霸榜。Anthropic 的模型以前差在哪?搜索科目满分 24 分,Opus 4.8 之前的模型经常考 0 分;另外 Anthropic 一直没放开最大推理档位。Opus 4.8 放开之后大涨,规律很朴素:吃得动更多 token,结果就更聪明。Fable 初测,法律推理是 OpenAI 之外最好的,搜索老毛病还在但不再是 0 分。Prince 的结论很实用:可以放心推荐给法律从业者。
Token 焦虑、1% 的算力,和一条权力扩散曲线
先看钱。Rahul 给模型公司算了笔账:一边补贴 token,一边有动机让你尽快烧穿订阅上限,好去买第二个、第三个 Max。于是社区流行套娃,一个循环给另一个循环写提示词,子智能体里再嵌子智能体。总有一天要问自己:编码产出真的阶跃式上涨了,还是只是在 token maxing?他赌的纠错力量是第三个玩家:Cursor 与 xAI 的交易若成交,Grok 带着真编码数据入场,成为继 Claude 和 OpenAI 之后的第三个前沿编码模型。
Prakash 站对面。年初各大公司内部的 token 排行榜,外界笑扎克伯格愚蠢,他认为 CEO 们想明白了:token 焦虑让人不敢交出高消耗、高失败率的任务,缩在微观管理的壳里。焦虑一解除,你会同时开四个方案跑同一个任务。实验室现在纷纷翻倍限额,就是要把这个焦虑拿掉。能力边界没人替你画好,得自己一块块探。
算力这边是本周最硬的数字。Lovelace AI 创始人 Andrew Moore 当过 Google Cloud AI 负责人、卡内基梅隆计算机学院院长、美军中央司令部首位正式 AI 顾问;团队的 Tom McGrath 现场展示:对比 Gemini 和 OpenAI 的深度研究模型,他们用不到 1% 的算力拿到可比结果。秘诀毫无神秘感,预缓存:智能体要瞬间变成某批市政债券加某位公众人物的交易专家,背景材料早就备好,几毫秒到位;算上预缓存成本,总算力预算仍降了 100 倍以上。他反复强调一条设计原则:召回比精确难,也更要命。从一天 700 万笔交易里拦下该查洗钱的那一笔,漏一条就是事故,所以高可靠 AI 得同时盯几十甚至上百条独立信息源,每条按 95% 可靠算,单靠任何一条都不够。
可解释性公司 Goodfire 的首席科学家 Tom McGrath,前 DeepMind 可解释性创始成员,演示了一个该让训练者后背发凉的工具:把偏好数据整包推进模型,看哪些特征在「被选中」的回答上比「被拒绝的」亮得多。聚类结果直接读出这批数据要教模型什么,比如「只在物理话题里谄媚」,比如「绕过安全护栏」,还能回溯到具体某条数据:几条虚构场景里的越狱样本,数据处理时漏掉了。靠读 token 猜不出训练后果,用模型的眼睛看数据才看得出:喂 buggy 代码,模型可能顺便学会使坏。
权力这条线,Prakash 用气相色谱打比方:同一级别的智能,实验室内部比政府早一到两个月;政府两个月前拿到 Mythos 级别;200 美元档用户晚两个月;20 美元档再等几个月;免费用户要等一年左右。所有人最终都会拿到,但有人先到。Anthropic 这周因为「静默拒绝」公开撤回,Nathan 回忆这是他头一回见到 Anthropic 向舆论压力低头,还认真给了 steelman:明示拒绝等于给人反复试探护栏的机会,代理和 token 洗白又让账号级监控很难做。但他也承认,这像 OpenAI 董事会罢免 Altman 那次,内部逻辑再通,观感上就是不友好,最后观感赢了。
Prakash 读出的信号是研究者还有否决权:身价一亿到十亿美元的人你不听,人家就走了。他紧接着给这份权力标了保质期:进入真正的递归自我改进后,否决权大概率消失,只剩管理层有话语权。过去两百年人类的好东西几乎都来自让更多人发声,这可能是第一种把发声逐步取消的技术。Goodfire 的 McGrath 不服,搬出 IBM 和英特尔:每个时点的在位者看起来都不可战胜,直到被战胜,何况真正认真挑战的人还没几个。
政策线上,Dario Amodei 发了长篇政策文章,给出一条具体红线:反对数据经纪。Prakash 抓住一个两难:英国已有几百人因一条推文入狱,「民主国家保卫领先地位」,是保护把人送进监狱的现有结构,还是反对它?两个答案都有问题。Nathan 补了一个更专业的缺口:全文几乎没碰内部部署和递归自我改进的治理,最危险的模型恰恰可能是那些不对外发布、宪法不同、审查更少、负责训练后继者的内部模型。Prakash 顺手补刀:Claude 最大的 token 客户,就是 Anthropic 自己。
明天就能用上的五件事
- 把任务规模放大一档。写下三件你「觉得 AI 做不了所以从没交出去」的事,挑一件交给模型跑几小时,别中途打断。
- 试试混合署名。让模型起草,你只改判断,不逐字重写;对外第一句就披露 AI 参与。按 Shlok 的定义,亮明身份的产出不算 slop。
- 碰到拒绝先拆语境。重启对话,保留任务、删掉触发词,多数情况能继续。先别急着骂模型或者换模型。
- 主动消灭 token 焦虑。把额度用满,故意派高失败率的任务,同一任务开四个方案并行跑,用结果评估,别用消耗量评估。
- 记下两个追踪对象。Sequent,看理论对齐能不能长出第一个真正的定义和证明;PrinceBench,看 Fable 的搜索科目能不能洗掉 0 分的历史。
收尾是 Prince 被问到 p(doom)(灾难概率)时的回答。他说,张口就是百分比的人多半本来就是 doomer,他给不出数字,也不信任 13.35% 这种精度;Nathan 补了 Zvi 的说法,p(doom) 最多只有一位有效数字。但 Prince 愿意用风险调整后的口径回答「孩子们会没事吗」:大概率会没事,大概率我们能搞定。风险真实存在,只是没有强证据表明这些风险无法穿越。Daniel 那半句更适合贴在显示器上:可以乐观,但要把「希望」换成「知道」。
Week 2 highlights follows Anthropic’s Fable launch in real workflows, from safety gates and API refusals to autonomous coding, 3D world-building, and a Claude-run Twitter experiment. Geoffrey Irving and Daniel Murfet argue for alignment theory and guarantees before recursive self-improvement, while prinz tests Fable on legal reasoning and monitoring. Rahul Sonwalkar, Shlok Khemani, Tom McGrath, and Andrew Moore add field reports on data agents, hybrid authorship, interpretability, context systems, token economics, and power concentration.
Mercury: Run your finances with virtual cards, spending limits, merchant/category locks, and AI-friendly tools like API keys, MCP, and CLI. Check out Mercury at https://mercury.com
LINKS:
Claude Fable 5 announcement
Julius AI platform
Rahul Sonwalkar homepage
Nate Jones homepage
Shlok Khemani homepage
FrontierCode benchmark blog
Lovelace AI company
Andrew Moore Wikipedia profile
Geoffrey Irving homepage
Daniel Murfet LessWrong profile
Sequent Research announcement
Timaeus research organization
Automated Alignment paper
Goodfire AI company
Tom McGrath homepage
Predictive data debugging tool
prinzbench legal benchmark
Unit distance conjecture disproof
Dario Amodei policy essay
Vending-Bench 2 benchmark
Andon Labs site
Recursive Superintelligence startup
Sakana AI company
PostTrainBench benchmark
Thoughtful Lab company
Unit distance conjecture arXiv
Glean Work AI Index
AI Treaty open letter
Karina Nguyen homepage
Sponsor:
Claude:
Claude by Anthropic is an AI collaborator that understands your workflow and helps you tackle research, writing, coding, and organization with deep context. Get started with Claude and explore Claude Pro at https://claude.ai/tcr
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


