“GPT-4已经是AGI的种子”：拜登AI行政令签署四天后，Flo Crivello把AI风险这笔账算了算

2023年10月30日，拜登签署美国第一份AI行政令，全文100多页。四天后，英国AI安全峰会在布莱切利园闭幕，中国第一次出现在峰会的联合声明里。就在同一周，一位法国创业者坐在播客麦克风前，说了句更猛的话：GPT-4已经是AGI的种子，2到8年内AGI出现的概率超过一半；超级智能不会晚于30年，我们这代人都会亲眼见到。

他叫Flo Crivello,Lindy的创始人，这家公司给自己的定位是“AI员工”。这是他第二次上Cognitive Revolution,上一次是2023年3月，节目才做到第9期。Lindy至今锁在封闭内测，连主持人Nathan Labenz都没拿到账号，但Flo在推特上持续贴模型表现的更新，是AI圈很活跃的声音。录这期节目的前一天，他刚参加完美国入籍面试。

这期对话的看点在于，Flo并非喊停的悲观派。他自称自由意志主义者，在绝大多数议题上是坚定的加速主义者。恰恰是这个人，把AI安全这笔账算得最认真。整条论证链值得从头听一遍。

开场Nathan先吐槽了自己的状态：2022年他还能跟上AI圈所有大事，现在连AI绘画这条线都彻底放弃了。Flo回了一句：很正常，八十年代你或许还能跟得上“计算机”这个领域，现在“科技”占世界经济的一半，谁跟得上？

先看他们想踩油门的地方

两个人先对了一遍加速主义清单。移民排第一，Nathan说他更愿意签“10亿美国人”计划，修墙那种方案就算了。Flo补了个细节：行政令的移民部分其实有不少好东西，放宽签证、堵上漏洞，他自己就是受益者，前一天的入籍面试刚结束。

自动驾驶排第二。录制前几天，Cruise因为一起事故被加州吊销运营许可，随后全美暂停，高管轮番公开检讨。Nathan气不打一处来：一场事故停掉整个业务，检讨还做得这么彻底，咱们的内心Travis(Kalanick)去哪了？

接着他讲了自己的实测。Nathan开一辆2002年的Trailblazer,发誓不换车，除非换成自动驾驶。他借了邻居的特斯拉FSD,载着90岁的外婆回老家，单程四小时，来回八小时，把笔记本绑在后座录像复盘。八小时只有两次失误：一次是棵树挡住了停车标志，一次是匝道口一块面向辅路的停车标志，车误停在不该停的位置。他的结论很直接：这车已经比他坐过车的很多人类开得好，而两次失误，修剪树枝、加块遮板就能解决，只是没人有动力去修环境。

Flo安慰他，这属于历史必经阶段。汽车刚出现时，曾有法律要求有人举着旗子走在车前，时速不得超过4英里。他讨厌这套，但已经和解：反正进步挡不住。

不过Flo对“挡不住”这三个字，其实有更复杂的看法，后面会讲到。

先交代Flo的底色。他在Uber工作过，亲眼见过监管俘获怎么运作。他引用经济学家曼库尔·奥尔森(Mancur Olson)的说法：世界上遍布各种汲取性制度，工会也好，行业协会也好，政府机构也好，它们不关心把蛋糕做大，只想多切一块，哪怕切的过程让蛋糕缩水。这类组织成千上万，是很多问题的根源。

所以他完全理解Marc Andreessen那批人的愤怒。技术乐观主义者对监管的过敏，是几十年真实教训换来的模式识别。看到AI要被监管，老兵们的第一反应是“又来了”。

但Flo说，这次真的不一样，他给了两个理由。第一，Andreessen这些年反复讲“专家说没什么可担心的”，Flo翻出他2017到2020年间的一次访谈，当时他确实在诉诸权威。问题是这个论据已经失效：Geoff Hinton这样的顶级专家，现在站出来说的恰恰是“有东西需要担心”。

第二，监管俘获的阴谋论放在OpenAI身上讲不通。OpenAI从成立第一天起，使命就是安全地造AGI。如果这是监管俘获，剧本得是“先花多年把整个行业造出来，然后立刻开始俘获监管”，没人这么下棋。这是创办时的原始计划，并非半路抢来的生意。

他自嘲平时的站队：技术队、企业队、反监管队，全占。唯独在AGI这里，他站谨慎。

“新生命形式”，他是字面意思

Nathan是个反类比的人，他追问：你说AI是新生命形式，是比喻，还是字面意思？Flo答：字面意思。

他的论证从大爆炸讲起，引用MIT生物物理学家Jeremy England的《Every Life Is on Fire》。宇宙演化的总方向，是物质的自我组织程度不断提高，他甚至提到，有观点认为这可以算热力学第二定律的自然推论。亚原子粒子抱团成原子，原子组成分子，几代恒星更替后出现大分子，然后是蛋白质、RNA、原始生命，然后是DNA、细胞、多细胞生物、大脑，最后是人类。

问题来了：凭什么这条长链停在我们这里？Flo说，你本身就已经是个怪东西，百亿亿个原子以高度有序的方式组织起来，还在追求目标。你相对于一个细菌的跨越那么大，宇宙里没有任何定律禁止存在一个比你复杂同样倍数的东西，哪怕大到行星甚至星系的尺度。硅基相对碳基的优势清单还很长。而这一次，人类第一次能隐约看到那条路怎么走通。

顺带说，Flo并不认为进步不可阻挡，这一点他和e/acc(有效加速主义)阵营有分歧。他指出对方有个内在矛盾：一边说AGI不可避免谁也拦不住，一边又警告监管会扼杀它，总得选一个。中世纪的欧洲成功停过进步，今天的朝鲜也停着。进步是脆弱的，需要有人守护。他怕的是两头都出问题：既过度监管错过收益，又放任自流迎来灾难。

行政令、总开关，和中国牌

回到行政令。Flo的第一反应是惊喜，惊喜有两层：反应速度快，措施不离谱。他原本担心的是一群七八十岁、出生时还没有手机的立法者，写出“如果你的AI里装了Microsoft Office,就必须提交报告”这种条文。实际方案是按训练算力划线：10的26次方FLOPs以上的模型，训练前要向政府报备，并提交测试结果。他觉得这个门槛选得合理，是正确的第一步。当然，行政令只是行政令，还没变成法律。

漏洞他也看得清楚。按算力监管，天然防不住算法进步：算法一改进，同样的能力需要的算力就降下来；蒸馏一下，大模型的能力就进了小模型。研究者迟早找到绕过门槛的办法。已经有人提议让算力门槛随时间自动下调，但这更难推，因为公众不擅长外推技术趋势，也不爱为还没发生的事接受监管。

所以Flo认为，大家其实在绕着真正的问题打转。靠AI公司交报告，解决不了超级智能的对齐。他真正想谈的是kill switch,总开关：在每一块H100里加一颗芯片，让一个中心化机构能在紧急时刻一键关停全球所有数据中心GPU。笔记本和手机不受影响，它们没有H100。技术上并不科幻：GPS芯片接收太空广播信号，成本不到一美元，完全可以搭GPS协议的便车。

Nathan追问实现细节：总不能指望值夜班的员工去拉闸吧，应该是芯片直接响应广播信号。Flo承认，这方面的研究还很少，但原理上没有不可解的地方。这个提案的极端版本，就是Eliezer Yudkowsky的空袭主张：谁囤积数十亿美元的H100去训练超级模型，就打谁。Flo认为方向上没错，这类东西的管制逻辑，对标对象是浓缩铀，必须在最低层面禁止囤积，而最低层面指的绝不是应用层。应用层太分散，任何车库里的孩子都能搭一个；能管住的是硅层，因为扼制点就那么几个：ASML、台积电、英伟达。行政令目前要求的“至少填个表”，在Flo嘴里相当于宣布：浓缩铀随便买，别拿炸我们就行。

顺带一提，他并不担心掐死芯片业会毁掉文明：用今天的芯片，文明照样运转，而且现有芯片的能力冗余大得惊人。真正的扼制点还在美国手里，这也回答了中国问题。Flo支持协调，博弈论入门课就讲过，协调问题的解是少数玩家加重复博弈，现在恰好就是这个局面：玩家不多，而且要长期打交道。就算不协调，英伟达是家美国公司，禁售这种牌以前也打过。布莱切利园峰会上，中西方学者联合表态“人类灭绝风险需要共同应对”，在他看来是实打实的好消息。同样让他乐观的还有：公众意识在涨，Hinton在到处敲警钟，各实验室在加码安全投入，Anthropic的技术工作他评价很高。

GPT-4为什么已经是AGI的种子

整期节目最大胆的判断在这里。Flo先给了定义：他说的AGI,指种子AI(seed AI),一个能递归自我改进的系统。这比通行定义窄得多，但也是真正要命的一条线，因为一旦进入自我改进的递归循环，用他的话说，数学上就结束了。

按这个定义，种子AI不需要会玩井字棋，不需要全面超过人类。它只需要在某个关键角色上“够好”：软件工程师、芯片设计师，或者AI研究员。够好的标准出奇地低，不用超过最好的工程师，甚至不用超过平均水平，只要能对“让自己变得更强”产生正向贡献。递归一旦启动，后面的事不用人操心。

Flo列了几条证据。NVIDIA的Eureka论文，让GPT-4给机器人强化学习写奖励函数，它干得比人类专家还好，这是通用系统第一次展现这种“灵光一现”。他自己的Lindy,正在用模型写自己的集成代码，占比越来越高。他猜测OpenAI内部已经大量用GPT-4做AI研究，NVIDIA则明确展示了用它做芯片设计。递归循环的轮廓，开始若隐若现。

Nathan又补了一条：微软研究院最近把一个简单的“软件改进器”喂给它自己，让它反复优化自己，结果它自己进化出模拟退火、遗传搜索这类算法。离GPT-4改自己的架构、扫参数，看起来只差一步。

有人反驳：GPT-4连井字棋都下不明白，哪来的世界模型？Flo的处理很干脆：这场争论已经不重要，重要的是够不够好。他用了一个凸包(convex hull)的比喻：把人类知识铺成一个高维空间，GPT-4本质是在数据点之间插值，数据点足够密的地方它表现很好，够不到的地方很糟。但凸包之内装着人类知识的总和，一个读完了有史以来所有论文、读完了整个互联网的AI研究员，在凸包之内已经比你强。而边界是可以推的：让模型“深呼吸，退一步重新表述问题”的论文，自动改写提示词的方法，都是在把边界往外推。模型本身不够，认知架构来凑。他的结论：如果GPT-4还不是种子AI,GPT-5肯定是。

他还给了一个类比：比特币出现之前，需要的每项技术早就存在，缺的是组合和工程，GPT-4同理，从GPT-4到AGI,缺的环节在工程侧，而且发生在模型外面。Nathan补了一个细节：年初GPT-4还没公开发布时，多位OpenAI人士就告诉他，“我们已经有AGI了，现在处在慢起飞阶段”。这不是Flo一个人的狂想。

由此推出一个具体的政策主张：立刻停止开源前沿模型。Llama 2还没到那条线，但GPT-4到了。如果Llama 3达到GPT-4水平，权重一旦放出去就再也收不回来，而没人知道外面有多少能力冗余等着被激活。

2到8年，10%,和一句禅语

把上面的判断压缩成时间表：Flo预计真正的AGI在2到8年内出现，概率超过一半。AGI到超级智能之间的自举过程他看不清，但他不认为会超过30年。他特意声明，基础情形是他认为事情大概率顺利，他并非末日论者。但概率不站在侥幸这边，哪怕毁灭概率只有10%,也值得极度认真地对待。

10%的概率，我们全部死掉。请大家来聊这件事，好吗？

这份时间表有多激进，可以对照同行的看法。Nathan提到，Inflection的Mustafa Suleyman说未来几年要训练比GPT-4大几个数量级的模型；Jaan Tallinn在GPT-4发布后说过“我们躲过了一颗子弹”，言下之意，GPT-4那个规模本来就可能踩线。Nathan自己的直觉是GPT-5大概没事，再往后就完全抓瞎。Flo的答案更极端：GPT-4就是终点线前的最后一段，因为能力冗余已经在了，缺的只是工程。

整期听下来，Nathan的总结挺准：AI故事的第一章是空想和站队，现在翻到第二章，主要玩家居然大多严肃对待风险，很难想象一个比这好多少的开局。

最后一个问题关于AI有没有主观体验。Flo用禅宗公案收尾：有人问，狗有没有佛性？答曰“无”。这个“无”既非肯定也非否定，它拒绝的是问题本身的前提，就像问“宇宙诞生之前发生了什么”，时间跟着宇宙一起诞生，根本不存在“之前”。主观体验不可测量，算不上科学对象，这类问题，大概会一直悬着。

明天就能用上的三件事

聊的是天大的事，但Flo这套框架拆开，有三样东西明天就能用：

• 用“够好就能递归”评估每次新模型发布。别纠结它会不会下井字棋、有没有意识，只问一个问题：它能不能在写代码、做研究、设计芯片里的某一项上，帮着把下一代模型做得更强？能，时间表就往前挪一格。
• 盯扼制点，别盯应用层。判断AI监管走向，看ASML、台积电、英伟达的动作，比看一百篇政策评论有用。行政令的10的26次方FLOPs这条线，加上Llama 3这类开源权重放不放，是两个值得设关键词跟踪的信号。
• 把尾部风险写进个人决策。Flo的态度可以借来用：基础情形乐观，但给10%的坏情形留位置。具体做法：别把长期计划默认押在“肯定没事”上，学一项不容易被替代的手艺，保持自己对工具的掌控力。这2到8年，是性价比最高的买保险窗口。

一句话收束这期节目：乐观地加速，清醒地设闸，这两件事可以同时做，而且必须同时做。