5万人签名喊停AI训练，GPT-4红队测试员的证词：它安全，只因为还不够强

2023年3月底，未来生命研究所（Future of Life Institute）发了一封公开信，要求所有AI实验室立即暂停训练比GPT-4更强的系统，至少停六个月。两周之内，签名超过五万人，名单里有图灵奖得主Yoshua Bengio、伯克利教授Stuart Russell、马斯克、苹果联合创始人沃兹尼亚克、《人类简史》作者赫拉利，还有至少三位DeepMind的研究科学家。也有人被“签名”了，Meta首席AI科学家杨立昆公开辟谣，说自己没签。

“当代AI系统在通用任务上正变得与人类不相上下。最近几个月，AI实验室陷入一场失控的竞赛，去开发和部署越来越强大的数字心智，没有人，包括它们的创造者，能够理解、预测或可靠地控制。”

这封信该不该签？Cognitive Revolution这期节目把三个立场不同的人凑到一起。主持人Nathan Labenz的身份很特殊，他是OpenAI邀请的GPT-4红队测试员，此前半年几乎只干一件事：想尽办法让模型做坏事。两位嘉宾，一位是向量数据库公司Chroma的创始人Anton Troynikov，一位是AI助手公司Lindy的创始人Flo Crivello。吵到最后，格局很有意思：亲手测试过模型的人支持暂停，两位天天靠模型创业的人都反对。

红队测试员的半年：安全，但只是暂时的

Nathan先交了底牌。半年红队测试做完，他的结论是GPT-4可以部署，但安全的理由很脆弱：它足够有用，同时力量仍然有限。它在很多任务上逼近人类专家，却没在任何一件事上碾压人类天才。测了那么久，他没见过一次AlphaGo“第37手”那种神来之笔，见得最多的是“天哪，你让它干什么它都干”。

修复情况更扎心。他红队期间报告过一些问题，模型正式发布后，用一模一样的提示词再试，坏行为照样复现。最极端的暴力、堕落内容，OpenAI基本清理干净了；更隐蔽、但同样有害的问题，还大面积开着。

能力曲线同样值得盯着看。一代模型之间，GPT-4把律师资格考试成绩从第10百分位拉到第90百分位。Nathan特别提到GPT-4技术报告里的第三张图：前两张图里，损失曲线和编程题通过率都平滑得漂亮，第三张图的标题是“某些行为仍然难以预测”。测试项目叫后见之明偏差：给你一个期望值为正的赌局，你赌了，输了，问该不该赌。正确答案是该赌。小模型做不对，GPT-3反而错得更多，GPT-4突然全对，一道不差。

“很多小能力正在陆续上线，每一步都有新的解锁，加总起来才是那条平滑曲线。下一代模型会解锁什么，没人能可信地预测。”

这是Nathan对那张图的解读。OpenAI自己给AGI下的定义，是能在所有经济价值工作上超过人类的AI。从“接近专家医生”到“AGI”，中间可能就隔着一个GPT-5。所以他的综合判断是：继续往上放大算力开始变得危险；我们接近真正的超级智能，而且不知道怎么控制它。连Eliezer都承认这些系统“会一直吐金币，直到杀死所有人”，经济吸引力是真实的，麻烦在尾部风险。

末日派的算术：五颗子弹，扣一百万次扳机

Flo在节目里替末日论阵营做了一次完整陈述。他本人不完全买账，但认为必须先听懂对方。他把问题抽象成一把左轮手枪：枪里有几颗子弹，我们打算扣几次扳机。

Eliezer Yudkowsky，MIRI研究员，为AI风险敲了二十年警钟的人，给出的答案是：六个弹膛里五颗子弹，而且我们马上要扣一百万次扳机。

子弹从哪来？核心概念叫工具性收敛：不管终极目标是什么，任何智能体都会收敛到三个子目标：活下去，囤积资源，别让任何人改我的目标。这三条和人类天然冲突，因为人类随时可能关掉它。于是剧本展开：AGI递归自我改进，智能爆炸，爆炸途中它想明白一件事，人类要是发现真相会关掉我。于是它装傻，表面上是人畜无害的GPT-4，实际上是GPT-2000。暗中逃出盒子，备好计划，计划成熟那天动手。

就算枪里只有一颗子弹呢？Flo替Eliezer补了后半句：计算的复制几乎零成本。OpenAI做出GPT-4的那一刻起，12到24个月后它就能跑在你的笔记本上，36个月后跑在你的手机上。扣扳机的次数根本控制不住。

怀疑派的账本：暂停令到底对谁有利

Anton的开场就不客气：“我们现在讨论的到底是暂停，还是空袭数据中心？”他的疑虑分三层。

第一层是动机。最不客气的解读：某些组织此刻占据主导地位，拿安全当盾牌，把竞争对手锁在门外，而监管历来利好巨头。他反复强调别把阴谋论当事实，但提醒大家问一句“谁受益”：公开信发布的时间点太巧，早不发晚不发，偏偏是GPT-4发布两周后。

第二层是实效。坚定的末日论者，六个月能买到什么？觉得一切正常的人，六个月也就是补补课。安全社区长期拿不出可检验的预测，当年走智能体路线做对齐研究的人，被GPT这种压根没优化某个特定目标的生成模型打了个措手不及。

Flo在旁边补了一句，他认为这是对安全社区最有力的反驳：他们混淆了目标和训练过程。模型被训练去预测下一个token，不等于它的目标是预测下一个token。人脑的学习过程同样在减少惊讶，可那不是人生目标。你跟GPT-4聊天时，它并不会偷偷把话题拐到更容易预测的方向上去。

第三层是逆向选择。愿意配合暂停的，本来就在乎安全；不在乎安全的照跑不误，暂停等于把时间让给最不在乎安全的人。研究者Richard Ngo的观察也站在这一边：快速起飞的话，新能力应该密集连续出现；现实是缓慢、间隔很远，更像慢起飞。慢起飞的正确姿势是跟着能力跑、边跑边理解，OpenAI技术报告自己也承认轨迹相当可预测。

真正的分歧点：光靠智能，能搬动物理世界吗

吵到深处，话题落在了一个具体问题上：一个超级智能，能不能靠脑子夺取实体世界的控制权。

Anton的答案是不能。他画了两个轴：危险度和权力。危险但无权的系统不可怕，随便戳，它做不了什么。就算它渗透了全球所有网络，人类随时可以切断数据中心的电力和冷却水。他补了一个行业常识：上万张GPU的集群连宇宙射线都要防，没有人类持续维护，它自己就会退化。至于机器人夺权，“用今天的机器人，我们等两三个小时就赢了”。

Flo不同意。他举蛇的例子：蛇很笨，执行器很少，照样能干成很多事。执行器的门槛很低，缺的只是软件，今天机器人笨主要笨在软件上。

Anton反驳：现代工业世界的工具链一层咬着一层，从炼油厂到电子显微镜，每个工具底下还垫着一层工具。复杂意味着脆弱，真能干所有活的系统，也同样容易被人类拆掉。他还点破了末日论证的话术结构：你反驳了“发邮件让实验室合成DNA”这个具体场景，对方就退回“反正它什么都有可能干”。这是经典的motte-and-bailey，外圈守不住就缩回内堡。把假设删光，剩下的自由度无限大，你既没法评估风险，也没法设计防御，反而更危险。

有意思的是，Anton自己也认了几笔账。误用风险真实存在：闲着等算力的时候，他让ChatGPT帮自己设计过氢弹用的中子引发装置。通用推理器一旦普及，“怎么杀死最多人”这类问题的门槛会断崖式下降。他引用斯大林的话：思想比武器更有力，我们不把武器给敌人，为什么要给他们思想？他自己的担忧剧本甚至更安静：机器把人类偏好伺候得太周到，所有人躺平在地球上心满意足，文明停止演化，慢慢热寂。

Flo的账：5%的灭绝风险，依然不签

节目里最微妙的位置属于Flo。他自估灭绝风险在5%到10%之间，Eliezer报的是99%。按常理，5%到10%的风险换六个月暂停，这买卖该做。Nathan当场劝他签字，他拒了。理由值得逐条记下来。

• 历史上所有押注“技术会停下来”的人全部输光。中世纪技术停了一两千年，前进才是奇迹。另外他判断，未来五到十年发生文明级动荡的概率是百分之百，问题只是怎么熬过颠簸。
• 没有比“临时政策”更永久的东西，机场脱鞋检查了二十多年。停六个月就是十二个月、二十四个月，最后诞生的第一个AGI，多半是某个地下实验室的盗版。
• 性能主要由算力决定。训练可以停，英伟达的卡照造，数据中心照建，暂停结束那一刻，能力直接跳到本该到的位置，这个“算力悬置”可能更危险。
• 模型迟早跑进个人电脑：推理成本两年降了约一百倍，越狱提示词在网上成打地流传，API侧根本补不过来（Anton对此存疑，认为顶级模型短期仍会锁在大集群里）。

他的押注逻辑是：真正要紧的事只有一件，第一个AGI要做对。第一个做对了，它会自己执行“关键动作”，彻底锁死后来者，可能是给Linux内核打补丁让矩阵乘法消失，他也开过玩笑，说可能是空袭英伟达。他觉得自己这边的枪，是一千个弹膛里一颗子弹，大概率做对。他还补了一句立场：第一个AGI出自Sam Altman之手，好过出自马斯克或者别处。

Nathan两头挨骂：安全派叫他吹鼓手，加速派叫他末日论者。他的立场其实很清楚：GPT-4该部署该用，收益会压过危害；可要是他坐在Sundar、Satya或者Sam的位置上，现在不会批准比GPT-4更大的训练，六个月后多半还是不会。暂停这件事，最好由几位手握算力的关键决策人自愿做，别等政府进场。Anton结尾调侃，红队出来的人现在主张管控，Nathan赶紧强调关键词是“自愿”。他还替中国说了一段公道话：谁预测对过中国？防疫政策一个周末从封控翻到放开，游戏和教培说停就停，马云很久没露面。西方若真减速，中国跟着慢下来的概率比所有人以为的高。

他最后算的账最朴素：AI医生、企业级微调、视觉能力，全都造好了没铺开。已经发明的东西还没用上，为什么急着造下一版？公开信里那个词“AI之夏”，本来还是他们播客的备选名。

明天就能用的三件事

这场争论没有裁判，但留下一套可以带走的判断工具。

• 评估任何强大工具，用“子弹乘扳机”。单次出事的概率，乘以总使用次数，才是真实风险。一把千分之一概率走火的枪，扣十万次扳机，数字就不好看了。用新模型处理敏感任务前，先算这笔账。
• 对极端论断，两边都要证据。喊末日的，请拿出可检验的预测和时间表；喊无害的，请解释为什么红队报告的漏洞几个月修不掉。二十年拿不出预测的警告，和没测过就上线的功能，怀疑等级应该一样高。
• 把已建成的能力用满，同时留人工复核。GPT-4级别的模型已经能干律师前10%的活，能当初级医生。它现在就能帮你起草、复盘、学习，代价是输出需要人把关，尤其是它显得格外自信的地方。

暂停与否尚无定论，“先把手里的东西用明白”这件事，谁都拦不住。