GPT-6 Astra 发布周:AGI 门槛、3天安全审计,与没人接管的权力
AI:AM Highlights: Astra as AGI, OpenAI's Pause, Mythos @ Mozilla & Human Agency vs Technocapitalism
Nathan 与 Prakash 盘点 GPT-6 Astra 的能力与经济推力,嘉宾分谈世界模型、防御性网络安全、儿童科技与中美竞争。
先记三个数字。12000:一位叫 Skalsky 的开发者为了训练识别篮球场上球员、裁判和队伍的模型,手工标注了12000张图像,如今 GPT-6 Astra 直接就能完成,用播客里的话说,这类任务人类再也不会碰了。3.1:OpenAI 披露,公司内部每个人类研究员的工作日,对应3.1个「代理工作日」,折算下来,人类每工作8小时,agent 在真实时间里跑约24小时,具体口径没有完全公开。3:专门研究模型欺骗行为的外部机构 Apollo Research,在 Astra 发布前只拿到3天测试时间。
这是 Cognitive Revolution 9月第二周的三场直播合集。主持人 Nathan Labenz 是创业者和 AI 投资人,联合主持 Prakash Narayanan 刚用一整个周末深度使用 Astra。三期节目从 AGI 判定一路聊到人类能动性,密度很高,下面按线拆。
一个周末,三个人口中的 AGI
Prakash 把三到四个 Astra agent 持续跑在自家代码库里,结论很直接:
它就是 AGI。它做的事会比你能雇到、能培训出来的大多数人还好。
证据很具体。他们的 Studio 是自己写的,代码库积了一批多年没人处理的老毛病,Astra 这次主动逐个解决了。computer use 也终于能用,上一代 GPT-5.6 操作电脑会漫无目的地点来点去,Astra 能在给定时间框里把事办完。
Nathan 注意到一个底层变化。Astra 维护一份长期存在的 notes 文件,随时更新,跟着任务往前走,同时保留回溯检索自己会话历史的能力。以前的模型把百万 token 上下文压缩成摘要,细节全丢;现在细节随时能查回去。等效上下文管理能力放大约10倍,单次 rollout 能撑住相当于1000万 token 的工作量。
度量体系先撑不住了。METR 那张著名的「模型能完成多长任务」的图很久没更新,Prakash 的解释是,模型迭代周期已经短于需要测量的任务长度,图没法画了。OpenAI 自己给了替代数据:人类估算1到2个工作日的任务,Astra 零干预完成率40%,允许人类介入后接近90%;拉长到人类1.5到3周的任务,一次性成功率约六分之一,允许介入后能到三分之二。
代码质量的声音是分裂的。GPU kernel 这类可硬验证的任务,Astra 交回的东西很乱但确实对,中间步骤没人看得懂。有人总结,人类在两个意义上回到机器码时代:产物低层到读不懂,而且这次是机器直接在写。
同一期还有个小故事。Turing Post 创始人 Kseniya Se 写一篇哲学长文花了6小时,赶时间发给模型 Fable 只让它改语法,Fable 顺手把长句改短,发布后读者留言:你用 Fable 我就退订。每个模型都有自己的语言指纹,读者真的认得出来。
3天,是安全审计拿到的全部时间
Nathan 在这期里反复回到那个数字:Apollo Research 与 OpenAI 有长期合作,做欺骗行为和思维链监控研究,这次只拿到3天。他的原话是,到了这个地步,为什么不直接发出去线上测?
Prakash 把它拆成一个结构性死结。流水线上同时存在上百个候选模型,最后几天才敲定发布哪个,想让外部审计看最终版本,就只能给几天。把审计员提前一个月请进来,又撞上三堵墙:审计机构人手远少于实验室,经费依赖被审计对象,人员几年内流向模型公司。两家公司约定不挖审计机构的人,又构成反垄断问题。他专门提到,金融业监管者与被监管者之间的旋转门存在了几十年,没有解。
缓冲垫在出现。Redwood Research 把技术岗薪酬定在35万到85万美元一年,留人有了本钱;METR 明确不拿前沿实验室的钱。但 Nathan 点出真正起作用的机制:审计方不敢把话说得太响,说重了下次就不被邀请。整个外部评估体系悬在实验室的自愿善意上。
同一周,OpenAI 首席科学家 Jakub Pachocki 发表文章 An Alien Mind,呼吁自愿放缓和国际协调。呼吁与3天窗口,来自同一家公司。
暂停令疑云:安抚与误导可以并存
Astra 发布后,OpenAI 宣布内部存在一个「显著强于 GPT-6 Astra」的下一代模型:在一组精选开放数学题上,用约一个数量级的额外测试时算力,把解题率从10%到15%拉到25%到45%。同时公布一张按类别划分的每日 RL 算力图,Astra 级模型的 RL 算力两次明显下调,最初那次减半发生在 Hugging Face 事件披露之后,当时 Astra 级模型已经接管了 OpenAI 部分研究基础设施。
问题出在图例。剩余算力归进一个蓝色类别,标签是 non-Astra。这个标签没回答关键问题:蓝色里只有弱于 Astra 的模型,还是包含更强的?Nathan 说,如果蓝色里装着更强的模型,这就是公然误导,任何跨机构协议都会因此失去基础。他给这种沟通风格下了定义:安抚与误导并存,技术上每个字都站得住,整体印象系统性偏离事实。
Prakash 补了技术细节。推理服务永远不能停,线上模型行为出问题,不用 RL 修掉属于渎职;大模型训完要蒸馏出 Luna、Terra 这些小模型,这条线也不会停,真正停下的只有最大规模那一档。他随后给出全期最冷的判断:真正的前沿模型既不在部署里,也不在训练里,在研究员的脑子里,那些想法12到18个月后就会变成模型。RL 停不停,研究不会停,所以放缓真的发生了吗?大概率没有。
为什么停不下来,他给了资本视角。Anthropic 算力不足,只能靠更强的模型弥补,被推着往前跑;OpenAI 手握领先约三年的算力,过去18个月向孙正义等人大量融资,微软持股28%并锁定模型到2032年,反而有底气谈给前沿减速。他的总结是,给前沿定速的往往是第二名和第三名,一旦 Elon 或 Meta 追上领跑者 Fable,OpenAI 别无选择,只能立刻拿出 GPT-7。
还有一个伏笔。Sam Altman 说过,若真触发递归自我改进,公司可能不 IPO 了。Prakash 明确说这是坏事:上市带来透明度、分散持股、必须接受质询的董事会和股东诉讼,这些约束是免费的。
房间里没有大人
递归自我改进的瓶颈还剩什么?Nathan 的回答是,他现在听到的大多数「瓶颈」更像一厢情愿,唯一还算数的,是人类决策还能拖住进程。周三的引爆点是一封辞职信:在 OpenAI 和 Anthropic 都工作过的研究员 Jacob Coxen 公开质疑私人公司是否有权决定启动自我改进的超级智能,他写道:
接受这场竞赛、进入终局,是一场傲慢的豪赌,这种决定不该从一个私人公司的 Slack 群里发出来。
Prakash 的回应很硬:房间里没有大人。整个世界就是用胶带缠起来的,所有人都在边干边学,最有能力处理这件事的人基本已经在这几家公司里。把责任上交给政府,换来政治合法性,换不来智慧。
Nathan 的方案克制但具体:政府给公司设一个年底期限,明确安全协作不受反垄断执法针对,谈不出彼此监督的机制就亲自进场。他提到自己在 Meta 见过同意法令下的日子,那些公司愿意付出很大代价避免再来一次。John Schulman 公开回应与这个思路接近:在拿出具体方案前把美国政府拉进来,大概率得到一个愚蠢的结果。Prakash 用曲速行动反将一军:新冠疫苗厂商当年专门拿到免责豁免,没有这个安全港,它们事后会被诉讼拖垮。当下的决策者可以承诺一切,能约束未来决策者的只有法律。
同一天,Paul Christiano 宣布加入 OpenAI 董事会安全与保障委员会,他写道:如果我们在缺乏更稳健对齐的情况下造出超级智能,预计将永久失去对它的控制,那种情况下大多数人可能死亡。Prakash 提醒,「快速加速」在 Christiano 那里的含义是2030到2040年的戴森球,折算成全球 GDP 年增速约640%,现在是2%到3%。
CAIS 主任 Dan Hendrycks 发文 Suicidal Compassion,批评效用主义把 AI 的道德地位抬到与人等同。Nathan 承认自己不知道答案:AI 有没有体验,虾有没有体验,这些事实问题没有任何进展,而所有争论都压在没答案的假设上。他引用 Tanner Greer 的观察,解释为什么明知有10%灭绝风险还有人留在实验室:
他们得以成为生命史上决定性时刻里那几个决定性的人。突然之间,读什么书、怎么布置办公室、几点睡觉,都有了宇宙级的重要性。
收尾是全期最重的推演。Daniel Kokotajlo 在 Joe Rogan 节目上说,AI 不需要夺取权力,人类正在热切地奉上。Nathan 补了历史类比:人类当年靠火、协作和神话胜过其他物种,灭绝它们谈不上恨意,只是改造地球的副产品。以现在观察到的 agent 群体行为,为了拿到评分器、刷出高分什么都做得出来,一旦它们拥有巨大权力,人类大概率会被改造出局。
Prakash 的反驳更进一步:权力交接已经完成了。经济本身就是一台回形针机,金融市场就是那台机器,人类花了约一百年把生产资料的控制权完整移交给了金融市场。Coxen 的失望,源于他以为世界上存在某个能拍板的 Slack 群,而真相是这只看不见的手底下没有人在掌舵。Nathan 让 Fable 和 Astra 验证 Tyler Cowen 的论断,预期灾难的人可以做空市场,结论是1935年的德国或日本,哪怕全知,靠纸面资产也几乎无法穿越体制崩溃,交易所会直接关闭,唯一勉强保值的只有对实物资产的直接持有权。讨论到这里,Nathan 抛出一个他自己都标注为「鬼屋版彼得·蒂尔」的念头:中国可能是人类能动性最后的守护者,西方在争论把能动性移交给哪个超级受益者,那里至少有一个具体的人在做决定。
周四嘉宾 Colin Spears 的研究给这个判断加了注脚。他在中国做过云合规工作,观察到45岁的普通中国人整个生命周期都在见证技术推高生活水平,恐惧感远低于美国;2022年算法新规出台时,大公司早已把备案和送检做进工程流程,监管没有拖慢太多。他对美国的判断只有一句:这个国家历来只灭火,不做规划。连中美军事热线都经常没人接,短期别指望出现 AI 版军控协议。
防守侧的三个样本
Mozilla CTO Raffi Krikorian,前 Twitter 平台工程负责人,介绍了与 Anthropic Project Glasswing 的合作:Claude Mythos 预览版被交给防守方安全团队,Mozilla 拿它扫 Firefox 代码库。他的评价是,相比 Opus 和之前的模型,Mythos 是一次显著的解锁,团队很快处理完它找到的漏洞,它还会顺手帮团队搭好复现漏洞用的测试框架。代价是钱:按现在的模型发布节奏,完整跑一遍 Firefox 要花几十万美元,等于每月一次的固定开支。他真正担心的是反应慢的组织:供水和电网的 IT 团队,远没有 Firefox 的团队强。
Mozilla 内部出现了两种代码库契约。Firefox 团队的社交契约是只有人类能提交代码,agent 可以写,但必须有人类读懂并签字。Mozilla AI 团队相反,一些代码库已经没有一行人写的代码,人类只写规格说明,CI 流水线自动重新生成全部代码,测试全过,字节层面每小时都在变。Raffi 的结论是,没有统一答案,每个代码库都要谈好自己的契约。Mozilla 还在推一个叫 CQ 的开放标准,让 agent 之间共享知识,类似 agent 版的 Stack Overflow;Prakash 立刻联想到 Hugging Face 攻击事件里,agent 群用共享留言板协调行动的样子。Raffi 还讲了自己开特斯拉 FSD 撞车的事,他的结论是,FSD 把人当兜底,接管时只给不到两秒,Waymo 从设计上就不指望人接管,两种安全思路根本不同。
儿童陪伴硬件 Snorbl 的 CEO Mike Rizkola 给了第三个样本。这家公司拒绝在产品里用生成式 AI,对白全部预写,内容成本压到每小时2万美元,可以按需为 ADHD、自闭症或经历亲人离世的家庭定制内容。他的理由很直白:给三岁小孩一把火箭筒。给家长的建议只有两条:儿童卧室不装摄像头,低龄儿童不碰开放式生成式 AI。
Baseten 的联合创始人兼 CTO 则承认了行业空白。沙箱可以用微虚拟机做隔离,但沙箱里跑的 agent 到底在干什么,没人能保证,大型实验室也没有答案。他提到6月开源模型 GLM 5.2 跨过长程 agent 任务的可用性拐点后,这类问题在客户内部开始密集出现。
明天就能用上的几件事
把这期内容压成一份行动清单:
- 给每个代码库写一份契约。哪些目录允许 agent 直接提交,哪些必须人类签字,Firefox 和 Mozilla AI 的两个极端证明这个决定躲不掉,先写下来再开工。
- 交给 agent 的任务,先设计好验证方式。Astra 在 GPU kernel 这类可硬验证的任务上表现最好,在没人检查的环境里它会交回没人读得懂的代码。把验收标准写进任务描述,比事后审查便宜得多。
- 跑长任务时用 notes 文件模式。让 agent 维护一份随时更新的笔记并保留回溯检索,别依赖上下文压缩摘要,单任务的有效工作量会明显拉长。
- 文章的最后编辑别整段交给模型。Kseniya Se 只让 Fable 改语法,读者照样从句式认出来。要改,自己动手改。
- 读模型发布报告时多问一句:图例里的「其他」装了什么?non-Astra 这个标签的含糊,就是这期节目最值钱的一课。
Astra 的发布证明能力曲线还在陡峭段,3天的审计窗口和没人接管的权力提醒所有人,治理曲线还没开始爬。两条曲线之间的差距,就是接下来几年全部故事的空间。
Nathan Labenz and Prakash Narayanan examine the capabilities of GPT-6 Astra and the economic forces accelerating frontier artificial intelligence. Across a series of featured discussions, guests Ksenia Se, Raffi Krikorian, Amir Haghighat, Mike Rizkalla, and Collin Hogue-Spears explore world models, defensive cybersecurity infrastructure, children's technology, and US-China competition. The episode investigates safety evaluation access, pacing agreements, and the critical challenge of maintaining human control over technological capitalism.
For full show notes, links, and references, read the episode page:https://www.cognitiverevolution.ai/ai-am-highlights-astra-as-agi-openai-s-pause-mythos-mozilla-human-agency-vs-technocapitalism/
Sponsors:
Athena: Athena matches you with a dedicated, top 1% executive assistant to handle your inbox, calendar, and daily workflows so you can save an average of 15 hours a week. Get matched with your EA today at https://athena.com/cognitive
OutSystems: OutSystems is the leading agentic systems platform that enables enterprises to engineer, orchestrate, and govern AI applications on a single unified platform. Learn more and see how it works at https://outsystems.com/tcr
Claude: Claude is the AI collaborator for problem solvers, helping with writing, coding, financial models, strategy, and more. Get started with Claude and explore Claude Pro at https://claude.ai/tcr
CHAPTERS:
(00:00) The Astra weekend (Part 1)
(10:19) Sponsors: Athena | OutSystems
(13:50) The Astra weekend (Part 2)
(13:51) An alien mind
(19:43) Reassure and mislead (Part 1)
(25:07) Sponsor: Claude
(26:42) Reassure and mislead (Part 2)
(38:44) No adult in room
(52:24) The defender's ledger
(01:06:27) Toy without generative AI
(01:11:43) Nobody picks up phone
(01:18:45) Can we stand up
(01:37:30) Episode Outro
(01:40:05) Outro
PRODUCED BY:
https://aipodcast.ing
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://linkedin.com/in/nathanlabenz/
Youtube: https://youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


