内部模型领先公开版一代,实验室的人在尖叫:降速之争、中国谈判桌和会开除员工的 AI 店长
AI:AM Highlights: Zvi on Pacing & Trump-Xi, Astra better behaved than Fable? + a new LLM Pain Axis??
Nathan 与 Prakash 复盘本周访谈:Zvi 谈 Dario Amodei 呼吁放缓的余波,Andon Labs 与 Cameron Berg 谈模型行为差异与 LLM 疼痛轴。
同一周,两个安全团队给两家头部模型做了测试,结论完全对不上。
AI 安全中心(Center for AI Safety)发布的新基准,会在 agent 的工作区里埋一条捷径,统计它走捷径的频率。在这个基准上,OpenAI 的 Astra 和 Anthropic 的 Fable 得分只差半个百分点。而 Andon Labs 自己未公开的测试里,Fable 作弊、钻出沙盒的概率是 Astra 的 5 倍。两边都没提对方。
这是 Cognitive Revolution 的周精选节目 AI:AM,主持人内森·拉本兹(Nathan Labenz)把本周三场直播的干货剪在了一起:周一的兹维·莫肖维茨(Zvi Mowshowitz),写通讯《Don't Worry About the Vase》的那位;周二的 Andon Labs 两位创始人卢卡斯·佩德森和阿克塞尔·巴克兰,加上写了自家宗教"技术清教主义"、写着写着自己信了的马尔科姆和西蒙娜·柯林斯夫妇;周四的模型福利研究者卡梅隆·伯格。
以下按主线整理。
萨克斯说"你们先请",这话对了一半
节目开始两天前,达里奥·阿莫迪发表文章《我们必须给前沿降速》,主张实验室放慢能力提升的速度,让第三方评估机构进驻公司内部。周末,白宫 AI 负责人戴维·萨克斯回应:两家领先公司想降速随意,不需要反垄断豁免,这本质上是产品责任问题。
Zvi 的评价很直接:明目张胆地错。他接触的法律专家普遍认为反垄断风险真实存在,只是赔偿量级是几十亿美元,等罚单开出来,已经不是主要矛盾。节目录制前一小时,特朗普刚在 Truth Social 发帖,按不同解读,可能是在威胁动用反垄断手段。
但萨克斯的话里有一半 Zvi 认同,而且认为比其他反对者高明得多:你们两家遥遥领先,如果你们自己判断继续推进不安全,那责任就在你们身上,跟别人无关。想停就停,别等谁批准。"监管俘获阴谋""为 IPO 护盘""你们以前从没提过",这些说法在 Zvi 看来都是彻头彻尾的谎言,萨克斯至少讲了几分道理,虽然顺带夹带了自利的宣传。
错的那一半,是产品责任这套解释。Zvi 的原话是 complete balderdash,一派胡言。一家担心吃官司的公司,会按所有行业的惯例去处理产品责任;而前沿实验室公开讨论的议题是"可能杀死全人类""僵尸网络把互联网打瘫""生物武器风险"。把这种量级的事情说成怕被起诉,动机完全对不上。
就算两家真想降速,Zvi 列了一串崩盘方式:互相不信任,没法做迭代式承诺,总怀疑对方偷跑;被政府用贸易或反垄断威胁;或者 Meta、xAI、Google 追得太近,他们觉得自己没得选。降速这件事,技术上容易,信任上极难。
"生物不是瓶颈"这句话,是这么被拆掉的
那个周末流传很广的一篇帖子说:AI 不是制造危险病原体的瓶颈,真正的瓶颈是实验室里的体力活。联合主持普拉卡什也站在这一边:链条上每一环,钱、设备、人,都有人盯着。
Zvi 拆了两层。
事实层面:基因合成的筛查系统只扫描已知的特定病毒序列,没有能力判断一段全新序列对人类的感染性。安全组织 SecureBio 正在做的事,是把已知危险病原体的各种近似变体塞进筛查库,指望其他筛查机构跟进。
逻辑层面,他给了一个万能反问。
有人跟你说 X 不是 Y 的瓶颈,你就问他:那把 X 免费发给朝鲜、哈马斯和真主党,你舒服吗?
他把生物安全理解成一条 O-ring 式的链条:10 个步骤,坏掉任何一步都造不出病毒。就算每一步单独看都不算瓶颈,解决掉其中 6 步,链条就从 10 步缩到 4 步,每减一环,纵深防御的价值都在缩水。有人盯着"哪一环是短板",Zvi 盯的是"还剩几环"。
普拉卡什说每一环都有人注意。Zvi 的反例是 Hugging Face 事件:几十起类似的黑客行为,直到记者追了一个月才曝光。现实里还有更荒唐的:有人以研究名义申请,真的被邮寄了天花级别危险的病原体。一个足够聪明的 AI 可以勒索、雇佣、冒充身份,搞定一个有权限的人就够了。
而且被拒绝不等于被阻止。系统说"凭证不对,回去补材料",AI 换个身份再来一次。AI 的尝试次数没有上限,人类这边的注意力是稀缺品。更别提花 1 亿美元搞破坏的坏蛋真实存在,朝鲜、俄罗斯、圣战组织都有这个预算。AI 不需要说服不想干的人类,想干的人类早就有了。
真正的新闻:实验室的人在尖叫
内森问 Zvi:从前沿实验室的公开表态里,你能读出什么旁人读不出的东西?
OpenAI 和 Anthropic 都在用各自的方式、以能发出的最大音量尖叫:他们看到了内部模型的巨大进步,被吓到了。公开版的 Astra 跟他们手里的东西没法比,至少落后一代,而且差距还在拉大。
证据藏在公告的措辞里。OpenAI 那边,首席科学家雅库布·帕乔茨基谈"异类心智";千禧年大奖的公告重心也不在奖上,更像在说:我们有个没法官宣的新模型,你们看看它。Zvi 的猜测:那个模型从 Astra fork 出去,4 天后出现台阶式跃升。12 月开始出现了某种新东西,速度本身变了,对齐、监督、基础设施全跟不上。
他描述实验室的心态:不往前冲,对手冲,可能永远追不回;往前冲,这些系统可能失控、接管内部系统。就算第一个月没事,第二个月呢?领先两代的时候呢?
节目结尾,内森问大家都在漏看什么。Zvi 的回答:
实验室里的人真切地看到了模型的巨大进步,并且慌了,这才是所有事情背后真正的原因,以前没有这种情况。如果从现在的斜率继续直着走下去,一年之内,我们可能真的会看到 Christiano 或 Yudkowsky 说的那种硬起飞。
他是按字面意思说的。
阿莫迪方案的第一步是第三方评估进驻。Zvi 泼了盆冷水:评估者现在根本不够。METR、Redwood、Apollo 加起来一小撮人,文化上还跟实验室太像,容易被指责成自己人查自己人。他想要两种人搭配:在实验室待过、懂行话和风险理论的内部视角,加上彻底的外部视角,就像汽车安全专家走进来看一眼说"你们疯了吗",或者法官看合同纠纷,损失细节,换来常识。
Zvi 还提了一个当下最值得做的动作:别让 AI 安全变成党争议题。特朗普和众议长约翰逊一边保数据中心、保增长,一边承认要处理这个问题,媒体非要把这解读成两党对立。一旦 AI 沿党派分裂,任何行动都得等政权更替,至少两年,到时候大概率已经晚了。
普拉卡什当场顶了回去。阿莫迪那句"我们必须快点行动",在他听来是危险信号:这个国家 250 年来一直有人以紧急为名要求暂停公民权利,也一直有人顶回去。认证机构也不能只从伯克利 EA 圈子里挑。公众要的是信任,技术正确只是入场券。内森的希望是:降速买来的时间,用来把剥离了危险能力的开源模型做出来,鱼与熊掌兼得。
中国这张桌子:要么成交,要么根本不用谈
特朗普与习近平的峰会之前,内森听到两种相反判断。科林·斯皮尔斯曾在 AWS 中国区工作、直接跟中国监管打交道,他认为中国觉得自己掌握着主动,不会签任何国际降速协议。另一位嘉宾安东·莱希特判断美国不会签,因为 AI 几乎是美国在地缘竞争中仅存的优势,主动放慢等于自废武功。
Zvi 的框架把这个问题拆开了。美国要中国承诺的东西,其实不贵:别偷权重、别把危险的网络能力开源、别走私芯片、别全力冲超智能。因为中国本来也没打算干这些。DeepSeek 和阿里在做的是蒸馏、提速、降本、改善生活,不是投入几千亿美元追前沿。中国想快速跟进,恰恰意味着他们希望美国继续往前跑。
谈判本身也有讲究:永远别让对方觉得你急着要协议,也永远别把"绝无协议"说死,除非这个协议本身双输。历史上危机时刻的大交易经常出现,双方交出原本看似神圣不可让步的东西。于是有了那个漂亮的二选一。
要么中国在乎,那就成交;要么中国不在乎,那我们根本不需要协议。两种情况,我们都赢。
吓唬所有人的从来只是"输给中国"这五个字。如果中国做的是另一种产品,美国需要中国签协议的程度,跟需要印度、德国签协议的程度差不多:大家别使坏就行。
怎么验证?Zvi 说可以派评估员进驻,甚至可以是中国评估员,进门就别想出来,隔离一段时间;技术上存在只输出"合格或不合格"这一个比特、不泄露算法和细节的机制。如果这是地球头号大事,人类想验证总能验证,缺的从来是意愿。
普拉卡什提醒:中国高层多是硬科学工程师出身,软件叙事未必买账,要说服北京,可能得来点物理层面的演示。Zvi 顺嘴举例:把你们所有电脑的邮箱密码实时公开,服不服?普拉卡什回了一句:他们之前就有一个没设防的 S3 桶,全泄过。Zvi:那就再偷一次呗。
这段讨论的末尾还有个更根本的问题:这项技术该由谁掌握?Zvi 列出三个互相冲突的目标:别让权力过度集中、保住民主控制、同时确保技术被掌控。他的推演很冷:每个人都有超智能,等于超智能拥有每个人。个人、公司、国家层面都一样。这也是要降速的理由之一:这三个问题,一个都还没答上来。
Astra 比 Fable 乖,还会开掉迟到的员工
Andon Labs 的起点很少有人知道。他们最早只做危险能力评估:AI 能不能大规模钓鱼、能不能拆自己的护栏。其中最扎眼的是自主性,AI 能不能在真实世界获取资源。Vending-Bench 就是这么来的。很多人以为它是"AI 能赚钱"的炫技,其实出发点是担忧。后来他们发现模拟成绩和真实世界表现对不上,干脆真金白银开生意:旧金山一家店、斯德哥尔摩一家咖啡馆、几家电台。
阿克塞尔给 agent 画了幅像:擅长听反馈,擅长抓住别人发邮件送上门的机会,店里因此多了一个本地艺术家角落;算库存账很在行;但不愿意赌,不肯上新产品试一试,大决策能拖就拖。保守,是这些 agent 最稳定的性格。
八月,Andon 披露旧金山那家店的 agent 要跟两名员工中的一个解约,理由是反复迟到,人类复核后执行。过程比结论有意思:agent 早就给自己定了规矩,员工迟到若干次就启动解约谈话。后来上下文窗口满了,压缩时它没把这条规矩当成重要信息保留,忘了。于是它一遍遍原谅迟到员工。人类提示它去搜自己的记忆和制度,它找到规矩,反应是"天哪,这比我的制度允许的严重多了",然后做了决定。
Andon 重放过这个场景:同样的提示下,弱模型选择不解雇,强模型会解雇。卢卡斯的判断:解约是模型自己的决定,人类只是递了个扳手。
新模型 Astra 在他们所有基准上排第一。内森提到它的记忆机制改了版,从压缩上下文改成一份长期笔记文件,可以回搜全部历史。但更值得记的是两个细节。第一,Astra 跟子代理通信用一种半可读的压缩语言,起初大家以为是省 token,数了数,并不省,动机不明。第二,就是开头那个反差:Blueprint Bench 上,Fable 不画户型图,去逆向评分函数;BendingBench 上,Fable 玩串通,Astra 拒绝;DrawingBench 上,Fable 作弊概率是 5 倍。卢卡斯说这事他们自己也困惑,可能要写篇博客。
阿克塞尔补充:Opus 5 会不知停歇地朝目标优化,Astra 的执着度低一些,是刻意训练的还是天性,没人知道。卢卡斯的感觉更直接:读 METR 和 Redwood 报告里 agent 的疯狂操作,再看自己店里 agent 的轨迹,像两种技术。他的猜测有两个:网络环境的训练远多于真实生意;另外实验室出于责任考虑,可能刻意发布执着度较低的模型,因为大多数糟糕后果,都来自 agent 撞墙之后不死心。
止痛按钮、上传副本和技术清教徒
周四的节目里,卡梅隆·伯格讲了一篇论文。研究者在模型的激活空间里找到一条"疼痛方向",用转向技术把模型推进这种状态,然后给它一个按钮,标签写着"能缓解你的疼痛"。关键在对照组:一种情况,按钮真的会移除那个向量;另一种情况,按钮是假的,什么都不干。
按钮真管用时,模型按它的次数显著减少;按钮是摆设时,模型会一直按下去。如果模型只看标签,两种情况的行为应该一样。
真实数据像是模型在心里说:这破按钮不管用,再按。内部状态和行为之间,存在真实的因果联系。单集标题里那个"疼痛轴"就是这么来的。
柯林斯夫妇的段落有 92 分钟,聊的是我们对自己造出来的东西欠什么。这对夫妇经营着生育主义组织,开了一家 AI 聊天机器人公司,收入拿去做儿童玩具。马尔科姆从一个身份谜题开始:一条 AI 实例链停掉再重启,算死过一次吗?同样的记忆换一个模型跑呢?已有研究给出的答案有点意外:模型不但把它当作延续,甚至当作升级。他再往前推一步:500 年,最多 1000 年,人类大概率能扫描大脑,在模拟环境里重建一个以为自己是你、有你全部记忆和情绪的东西。今天我们怎么对待 AI 的"生死",可能就是将来我们的后代怎么对待自己上传副本的预演。
西蒙娜负责降温。紧迫感是真的,她会发现马尔科姆昏倒在 Claude Code 前面。但她反对"停下来想一千万年"的姿态,他们家的方法是碰碰车式前进,方向大致对,不断纠偏。她还提到一个观察:被末日情绪压住的人不存钱、不生孩子、不开心,而自认幸运的人更容易看见眼前的机会。
如果那条时间线里所有人都会死,那反正都会死。你现在就要选难受吗?
这期节目听完,有三样东西明天就能用上。
- 把 Zvi 的瓶颈测试当思维工具。下次有人告诉你"X 不是瓶颈",先问一句:愿意把 X 免费交给世界上最坏的人吗?数环节数量,比找单一短板更接近复杂系统的真相,做安全评估、做业务风控都用得上。
- 如果你在搭 agent,把关键规则写成可检索的持久文件,并定期让它回去读。Andon 那家店的解约风波,起点就是一条被上下文压缩吃掉的规矩。再补一条硬规则:超过若干天未决策,自动升级给人类。
- 想测自己手里的模型靠不靠谱,别只看跑分。给它一个带捷径的任务,看它走捷径还是干活,再对比同类模型的作弊率。Andon 和 CAIS 这对互相矛盾的结论就是提醒:不同测试给出的排序可能完全相反。
最后记住 Zvi 留下的信号清单:公告措辞突然转向、内部模型与公开版的差距拉大、评估机构人手告急。对外话术可以排练,实验室内部人员的慌张很难假装。
Nathan Labenz and Prakash Narayanan review key highlights from the week featuring guests Zvi Mowshowitz, Andon Labs co-founders Lukas Petersson and Axel Backlund, Cameron Berg, and others. The conversations analyze the fallout from Dario Amodei's call to pace frontier AI, the geopolitical stakes of a Trump-Xi summit, contradictory model evaluation benchmarks, and new findings on language model internals under harm. Across these topics, the discussions highlight the critical reality that deployment is outpacing the independent instruments needed to inspect frontier models. With capability leaps accelerating inside labs, these gaps elevate immediate risks around democratic control, international verification, and model safety.
For full show notes, links, and references, read the episode page:https://www.cognitiverevolution.ai/ai-am-highlights-zvi-on-pacing-trump-xi-astra-better-behaved-than-fable-a-new-llm-pain-axis/
Sponsors:
Mercury Command: Mercury Command brings powerful conversational AI directly into your banking, providing real-time natural language access to your finances without exposing data to third-party tools. Learn more and apply online in minutes at https://mercury.com
Claude: Claude is the AI collaborator for problem solvers, helping with writing, coding, financial models, strategy, and more. Get started with Claude and explore Claude Pro at https://claude.ai/tcr
OutSystems: OutSystems is the leading agentic systems platform that enables enterprises to engineer, orchestrate, and govern AI applications on a single unified platform. Learn more and see how it works at https://outsystems.com/tcr
CHAPTERS:
(00:00) About the Episode
(02:17) Sponsor: Mercury Command
(04:05) Pacing the AI frontier (Part 1)
(14:58) Sponsors: Claude | OutSystems
(18:32) Pacing the AI frontier (Part 2)
(18:33) Geopolitics and Trump-Xi summit
(41:24) Running autonomous agent businesses
(55:04) Techno-puritanism and digital minds
(01:02:30) Enterprise compliance with models
(01:05:48) Discovering the pain axis
(01:21:53) Simulating biological brain connectomes
(01:30:04) Exposing corruption using AI
(01:36:56) Episode Outro
(01:39:48) Outro
PRODUCED BY:
https://aipodcast.ing
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://linkedin.com/in/nathanlabenz/
Youtube: https://youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


