Flo Crivello 只睡 5 小时那晚：GPT-4 没撞墙，开源和军备竞赛才是真问题

2024 年 6 月 8 日，Cognitive Revolution 更新了一期对话。主持人 Nathan Labenz 请回 Lindy AI 创始人兼 CEO Flo Crivello。Flo 前一晚只睡 5 个小时，因为他在读 Leopold Aschenbrenner 的 situational awareness 手稿。Leopold 曾是 OpenAI Super Alignment 团队成员。

如果你理解正在发生什么，就应该感到恐慌。

Nathan 的处境很矛盾。他找不到 Leopold 论证的大漏洞。前沿实验室负责人谈 AGI 时给的是 2 到 5 年时间表，美国政府已经开始感受 AGI。可 Nathan 又觉得 AI 冷战太可怕，他宁可尝试和中国合作，也不愿在赢家通吃的国际竞争压力下，用极短时间解决 AI 安全问题。中国公司刚发布 Sora 类视频生成模型，中国 AI 研究没那么落后。

这期节目信息量很大。两人从模型能力、时间线、滥用风险，聊到开源、监管和产品建设。下面按主题整理。

GPT-4 之后没进展？数据不同意

常见说法是，GPT-4 之后 18 个月没有更好模型，所以 scaling 撞墙了。Flo 的回应很直接：深度学习撞墙论已经喊了 10 到 20 年，早就成了迷因。更关键的是，GPT-4 之后没有新东西，这个描述不准确。

他们看到了 GPT-4 级性能的模型，成本降到约百分之一，速度提升 10 到 100 倍。Flo 认为 Gemini 1.5 Flash 被严重低估，便宜、快、能力强。上下文窗口也从 18 个月前的 4000 token，涨到今天的 100 万 token。Mamba 架构开始出货，效果在显现。Flo 没有内幕，但他感觉 GPT-5 可能在 2024 年第三或第四季度出现，会让人意外。

Nathan 给了一个具体用例。他让模型根据自己最近发出的 250 封邮件写人物素描。这些邮件约 25 万 token，超过大多数商业模型的上下文。Anthropic 上限 20 万 token，也差一点。Flash 有 100 万 token。它一次调用就完成了，成本不到 20 美分，耗时约 45 秒。旧版 GPT-4 时代只能把邮件切成小块，逐段总结，再把总结总结一遍，信息会在每一步丢失。长上下文、低成本、高速度，三件事同时发生，产品可能性就变了。

GPT-4o 的多模态也被低估。Greg Brockman 展示过一张生成图，黑板上写着 probability of text、pixels、audio。这个例子的含义是，模型可能在同一个架构里处理文本、图像和音频，不再走转录、文本模型、DALL-E 的流水线。它处理对话打断也很顺滑，可能把自身音频和用户音频放进同一个音频混合，所以能立刻停下。Flo 对 GPT-4o 的多模态感到意外，但对推理能力失望，已经把它从多数工作流移开。这符合 bitter lesson：与其工程化设置打断阈值，不如端到端训练，让模型自己学。

Flo 的两个时间线更新

Flo 最近更新了两个判断。第一，如果 2030 年前没有 AGI，那 2040 年前可能也不会有。未来 5 年非常关键，因为有一批一次性优化会被吃掉。数据会用完，资金也会碰到上限，模型周围还有大量“去残障”工作，也就是 Leopold 说的 unhobbling。这些加起来是 3 到 6 个数量级提升。抓完仍然没有 AGI，剩下的只有摩尔定律和架构改进，速度会慢很多。

第二，起飞速度。Flo 以前不确定超级智能是一天到来还是十年到来。现在他越来越相信，AGI 到 ASI 可能是 1 到 4 年。他不再把 AGI 和 ASI 强分离。理由简单：一旦 AGI 能自动化 AI 研究，AI 研究带宽会变成千倍，指数改进几乎必然。

Nathan 提到 OpenAI 和微软的合同。OpenAI 董事会宣布 AGI 达成后，不必把 IP 给微软。什么时候宣布，可能部分取决于 OpenAI 何时想重新谈判。2025 年宣布是有可能的。John Schulman 在播客里谈过，要收集中长项目的执行数据，教模型遇到障碍后回溯、换策略、绕过去。Scale 等合作伙伴可能已经在跟踪知识工作者的工作，让人边做边口述。下一代模型会更聪明，还会具备中长项目执行能力。

Nathan 试过 Devin 和 GitHub workspace。GitHub workspace 像给程序员的产品，要从 issue 开始，非程序员会卡住。Devin 更像未来，打开网站说任务，它自己干。你可以随时发消息，它中断、吸收、改计划、继续。它像 coding intern，需要一点教练，但再迭代一次，可能就能和可雇佣的非精英程序员竞争。Flo 说，AI 代码 agent 在未来几年 100% 会发生。

鲨鱼龙卷风和两类风险

Flo 讲了一个心理现象。假设有人告诉你两件事：第一，有确凿证据说明天有人会来杀你全家；第二，鲨鱼龙卷风会袭击你家。你会因为第二件太荒唐，把第一件也一起否定。AI 讨论里也有这种捆绑。极端科幻主张和直白主张被放在同一个包里。所有知识工作会在 5 到 10 年内自动化，这一点从业者几乎没有争议，但公众注意力被科幻争论吸走了。

风险可以分两类。一类是 AGI 失控，Flo 理解别人为什么怀疑，但他不同意。另一类是滥用，他认为几乎没有怀疑空间。生物和网络是最明显的两类。

Dario Amodei 有一个好观点。人类社会一直有一种隐形保护。世界上确实有邪恶的精神病态者，但精神病态和有能力的重叠很小。人受教育后会被社会化，机会成本也变高。你可以去做交易员、软件工程师、创业者、投资人，赚钱比杀人更有吸引力。例外出现时，比如 Unabomber，人们会记几十年。AGI 会改变这个保护。每个人都能获得强大能力。一个 17 岁少年能在卧室里拥有可口可乐级别的市场能力，等于有 1 万个员工。反过来说，恶意的人也能拿到同样能力。

网络风险很具体。文明依赖我们 barely 理解的计算机系统。银行、电网、互联网高度集成。超级黑客能力即将给到每个人。某个早上，电网被黑，通信没了，银行没了，电没了。城市依赖运输网络，运输也停了。人们会饿死。你修好电网和银行，黑客再黑一遍。这可能持续几个月。有人说 AGI 也能防御。Flo 反驳两点。第一，技术不一定对称提升攻防。第二，就算对称，机构采用新技术的速度远慢于黑客。银行和 PG&E 与俄罗斯黑客，谁先用上 AGI？差几年，这几年就很危险。他说没听到高质量反驳。

Nathan 补了一篇新论文。前 Cognitive Revolution 嘉宾 Daniel Kang 的团队用 LLM agents 发现并利用 0day 漏洞。他们用训练截止日期来区分哪些是新发现。这让局面更不稳定。

军备竞赛、专家共识和停滞问题

Nathan 想找一条不进入美中军备竞赛的路。他问自己，有没有理由相信不会出现决定性优势，或者到某个点会停滞。他找不到好答案。看其他神经工具，AlphaFold 3 能从量子力学模拟里学习粒子级动力学，比原始模拟快数量级，还出现涌现行为。有人研究溶液中的离子，模型训练后预测出结晶。自动实验室和 Cloud Labs 通过 API 跑物理实验，验证模拟出来的假设。这些工具快速、可并行。即使模型不是超越爱因斯坦，它也能调用庞大工具阵列。数据还可能合并进核心训练集。很难想象会停。

Flo 说，数据逆风是他的第一反应。数据会用完，这个问题可能解决，但他也可能错。他更想指出，这个问题问错了。气候、核战争、大流行准备，没人要求 100% 确定才行动。专家有共识，从期望值看就值得投钱。AI 顶级专家现在都在敲警钟。过去 AI 风险否认者躲在没有共识后面，现在共识变了，他们没更新。对待 AI 风险否认者，应该像对待气候变化否认者，礼貌忽略，然后把对话推进到“现在怎么办”。加州 SB 1047，不管具体条款怎样，都是必要的对话。

Nathan 说自己对 p(doom) 的回答是 10% 到 90%，或者 5% 到 95%。两端都够让人行动。10% 的灾难概率很大，10% 的生存概率也值得争取。万亿级集群可能是上限，效率优化和跨数据中心分解会降低资源门槛。

Flo 认为，没有中国，也有军备竞赛。Google、Anthropic、OpenAI 已经竞赛很久。地缘政治不驱动，经济激励也会驱动。花 10 万亿美元自动化所有知识工作，太便宜，市场会找到钱。时间线也有锚定效应。朋友听说 5 年觉得离谱，但 15 到 20 年也是明天。文明经常为 15 到 20 年后的风险花钱，公司也按这个周期规划。即使按 2035 到 2040 年算，现在也该准备。

Nathan 说，如果把中国从棋盘上拿掉，局面可能好很多。今天活跃玩家只有 3 到 7 家，大多互相认识，很多人住得近，曾经共事。Mistral 团队大多来自 DeepMind。有同事情谊，美国政府更可能做调节力量。有中国在，政府痴迷竞争，国家安全介入，技术军事化，Leopold 场景更可能发生。Flo 不完全同意。中国也有私营公司，政府是强迫者，不是驱动者。中国私企会像美国公司一样参与竞赛。政府角色是，一旦 AGI 很强，DOD 发现百度或腾讯也有，就会让书呆子尽快交钥匙。

今天能做什么：停开源，曼哈顿计划，监管

Flo 给出两步。第一步，停止开源模型。他认为开源高能力模型没有足够好处，风险却很大。我们不知道模型里有什么。微软 MedPrompt 论文发现，GPT-4 用专门设计的提示，能超过针对医学用例微调的模型。模型像一片茂密丛林，研究多年也未必摸清 GPT-4o 里有什么。开源模型可能藏着危险能力，一点微调就能大幅跳跃。你可能已经释放了 AGI 级或超级黑客级模型，自己还不知道。六个月后有人找到正确提示，就来不及了。

开源通常的好处是审计和修改。修改可以通过 API 做，OpenAI 就提供微调。审计权重几乎不可能，只能做反向操作。今天移除模型保护很简单，Hugging Face 上有大量 uncensored 模型。Flo 说，这一步应该先做。

第二步，为对齐搞曼哈顿计划，花几百亿美元。甚至可以要求公司每花 1 美元或 1 FLOP 训练，就花 1 美元或 1 FLOP 做对齐。他不期待这些发生。加州法案都难通过，更大的法案更难。他预测需要一场 AI 版 9/11，才会真正认真监管。他只希望灾难别太大。

Nathan 问，可解释性研究需要先进模型，怎么兼顾。Flo 说可以像曼哈顿计划，研究者接触机密，但都在受控环境里。Nathan 担心任务漂移。政府为了和中国竞争，可能把项目带偏。Flo 承认政治会丑陋，但这是最后手段。他长期自由意志主义者，讨厌国家和监管，认为国家会破坏它触碰的一切。MIRI 等机构尝试 10 到 15 年，想不靠监管解决对齐，最后放弃了。两位长期自由意志主义者转向支持监管，这本身就是一个信号。

一边造产品，一边准备 AGI

Flo 现在做 B2B SaaS，公司叫 Lindy。他把自己做的事叫 unhobbling。他们不做模型，做模型周围的层。目标是短期有商业价值，长期与 AGI 进程一致。认知架构层可以让 GPT-3 大致像 GPT-4，让 GPT-4 大致像 GPT-5。层包括长期记忆、RAG、按情境检索、持续学习、上下文学习、用户反馈、API 调用、computer use 和 UI use。三个桶：代理中心 LLM 的黑盒减去 LLM，输入，输出。输入有文本、图像、音频，Lindy 能加入会议听会。输出有工具调用，未来能在 Zoom 里说话、打电话、用电脑。

Nathan 说自己像个 adoption accelerationist 加 hyperscaling pauser。有人质疑这个立场是否连贯。他认为连贯。微调和脚手架确实解锁价值，他自己体验过。但他不想冲进 6 个数量级扩展。产品团队明天就能用的策略是，把精力放在模型外的记忆、规划、验证和工具调用，别把身家押在单一模型上。

这段对话没有轻松结论。Nathan 承认自己也在推动这个动态，却没有答案。Flo 说，如果理解发生了什么，就该恐慌。恐慌之后，行动清单反而清楚。

• 读一遍 Leopold Aschenbrenner 的 situational awareness 手稿，至少知道 2 到 5 年 AGI 时间表背后的论证。
• 用 Gemini 1.5 Flash 或同类长上下文模型试一次真实工作流，比如把几百封邮件、长报告、会议记录一次丢进去，体验成本和速度。
• 如果你做产品，把记忆、检索、反馈、规划、验证、工具调用当成核心资产，模型升级时这些层仍然有价值。
• 在团队里做一次 AI 滥用桌面演练，重点看网络和生物风险，列出最坏情况下的通信、备份和恢复方案。
• 支持对齐研究资金，支持对高能力模型的结构化访问和审计，支持把开源门槛写进监管起点。

AGI 会不会来，什么时候来，没人能给出确定答案。可以确定的是，模型能力还在涨，成本还在降，开源权重还在流出去，军备竞赛的引力还在。Flo 那晚只睡 5 小时，因为他把手稿读完了。接下来该做的，是把焦虑换成具体动作。