「先慢下来」六天后，插件就上线了：Conjecture CEO 康纳·利希谈 GPT-4 的魔法与认知仿真

2023 年 3 月，OpenAI 对齐负责人扬·莱克发推：在把语言模型接进一切之前，也许该先慢下来。六天之后，CEO 山姆·奥特曼宣布 ChatGPT 插件上线，把模型接到全网工具上。康纳·利希（Connor Leahy），AI 安全公司 Conjecture 的 CEO，在播客里点评这个时间差：「如果这是电影，这里该切个镜头，观众都会笑。」

这期节目来自未来生命研究所（FLI）播客，主持人加斯·多克。Cognitive Revolution 的内森·拉本兹把它作为加更集转给自己的听众。FLI 就是那份呼吁暂停超过 GPT-4 规模训练六个月的公开信背后的组织，节目里做过尼尔·南达、阿杰雅·科特拉这些对齐圈关键研究者的访谈。利希的 Conjecture 专做可扩展的 AI 对齐研究，Skype 联合创始人扬·塔林是投资人，他的评价是：「一支对 AI 怀有最高敬意的团队。」

恐慌出了硅谷，到了德国小镇

利希说，GPT-4 发布后的两周，是他职业生涯里外部世界最疯狂的两周。他原以为 GPT-3 已经是短期内最炸的事件，很快发现判断错了，事情只会更疯。

一个细节：去年圣诞节他回德国南部农村看母亲，亲戚围坐一桌，聊的是 ChatGPT。堂亲们对他说：「我们以为你讲的 AI 就是你个人的爱好，结果你是对的。」那是一个通常跟前沿技术绝缘的小世界，他是全家唯一真正会用电脑的人。

现在找他的是记者、政客、国家安全系统的人。他的判断是：人们开始恐慌了，而离技术最近的那批人反而最不把这事当回事。他现在的经验是，随便在街上拉一个人，给他看 ChatGPT，然后问：这些公司在造越来越大、越来越强的东西，而且控制不了，你觉得这是好事吗？对方的回答是：当然不是，这还用问？

主持人问：GPT-2 到 GPT-3 的跨越，比 GPT-3 到 GPT-4 更大吗？撞上收益递减了吗？利希的回答是完全没有，一切都在轨道上。他 2022 年 8 月就用过 GPT-4 的内部测试版，当时印象已经很强，正式版在推理能力上又明显强了一截。据他听到的消息，GPT-4 比 GPT-3 大，但没有大太多。

GPT-4 真正扎眼的地方，是一致性。很多让它惊艳的任务，GPT-3 咬咬牙也能做到，靠反复重试、严格检查、精心打磨提示词。GPT-4 是你说一句，它稳定地做到。这背后除了模型规模，还有更好的微调、RLHF（人类反馈强化学习）、对用户意图的更深理解。

他特意强调：API 上的 GPT-4 已经不是裸基座模型。它经过强化学习训练、指令微调和重度工程化，被明确设计成替用户干活的系统。这既是它好用的原因，也是它比裸 GPT-3 危险的原因：它被高强度训练去采取行动、去完成任务。

利希说，GPT-4 是第一个让他用起来感到「愉悦」的模型。用 GPT-2 和 GPT-3 时，他经常气到拔头发，平时几乎不用语言模型。至于 OpenAI 怎么做出这种效果，「谁知道呢，我怀疑他们自己也不知道，全是经验性的，没有理论，就是找人标数据，标到效果看起来不错为止」。他补了一句：如果没有危险这回事，他会对 OpenAI 充满敬畏，很想跟他们共事。他拿三位一体核试验打比方：那是了不起的工程，可他恰恰认为这东西极度危险。

无法证明「它不会」

我们探索完 GPT-4 的能力了吗？利希的回答：连皮毛都没碰到。奥特曼有个说法，渐进发布是为了让社会有时间测试和调试。利希直言这站不住脚：真信这个逻辑，就该发布 GPT-3 之后停下来，等社会消化、等机构跟上、等可解释性研究做完，再发 GPT-4。现实是莱克那条「先慢下来」的推文发出六天后，插件就上线了。

根本问题在于，没有任何办法证明一种能力不存在。我们无法测试模型「不能做什么」。插件、记忆、循环，LangChain 这类把模型当 Agent 用的框架一路加上去，利希的原话是：原型 AGI 已经出现，他不确定「原型」这个前缀还能撑多久。

插件为什么重要？利希给了一个他讲了很多年的判断：「大语言模型」这个名字起错了。用语言纯属巧合，是实现细节。这些模型真正的身份是通用认知引擎：把各种模态的输入编码进同一个语义空间，在里面做认知操作，再输出结果。GPT-4 接收图像和文本后映射到同一个内部表征空间，跟人脑统一处理视网膜、耳蜗信号的路数是一回事。在大脑看来，只有输入的神经脉冲流和输出的神经脉冲流。插件干的事，是给这些「神经脉冲」接上肌肉，给模型装上作用于现实的虚拟执行器。

他接着抛出一个常被低估的观点：人类心智的很大一部分根本不在大脑里。它在环境里：互联网上、书里、别人脑子里、社交网络里。一个人去世时「你的一部分也跟着死了」，这句老话是真的。GPT-3 是唯我论的，不会用工具，不跟环境交互；插件把它改造成了非唯我论的存在。利希还补了一刀：五年前圈内人还在认真讨论怎么把强 AI 关进虚拟机、防火墙、保密数据中心，「总不会有人蠢到直接把 AI 接上网吧」。现在是一支资本驱动的大军，争先恐后把模型接到每一个工具、每一个环境，直接接进你家。

魔法，和微笑面具下的怪物

利希用「魔法」形容机器学习，半开玩笑，定义却很严格：魔法就是我们不理解的计算正在发生。写一个计算器程序，抽象是紧的，输入 2+2 输出 4，你知道为什么。给 GPT-4 一个提示词，它吐出结果，中间发生了什么，没人知道；换一个词会怎样，也没人知道。

对抗样本是最直观的例子。给视觉模型一张模糊的狗照片，它认不出来，人类可以接受；给一张清晰的狗照片，只改一个像素，模型说这是鸵鸟。为什么？不知道。

「我们从数学维度召唤了一个小怪物来替我们干活。我们不知道召唤来的是什么，不知道它怎么运作。它看起来大致像我们要的东西，干得也还不错，但显然无法被理解。」

推特上流行的 Shoggoth（修格斯）梗图，利希认为是个真正好的隐喻：语言模型被画成巨大的触手怪物，脸上贴一张笑脸面具。笑脸是微调，是模型在测试过的分布内的表现；走出那个分布，底下是翻涌的疯狂。语言模型出故障的方式，跟人类完全是两码事。微软那个 Sydney 失控时的走向，跟人类发疯毫无相似之处。利希连典故都考据过：洛夫克拉夫特设定里，Shoggoth 强大但没有真正的自我意识，靠其他外星人的催眠暗示驱动。基座模型是怪物，微调就是催眠暗示。

魔法是观察者依赖的。克拉克说足够先进的技术无法与魔法区分，利希再推一步：足够先进的技术就是魔法。一个掌握完美深度学习理论的外星科学家看 GPT-4，看到的就是白箱。黑箱与白箱的差别，只在于我们被允许做出哪些假设。

节目里还有一段题外话，画面感很强：人们往聊天框里输入的东西，下限低到难以置信，包括大量违法内容；还有一大批人以折磨语言模型为乐，诱导它表演痛苦。利希不认为模型有主观感受，但看到有人对一个表现得像受苦人类的东西取乐，他的评价是「相当反社会」。他由此引到训练数据：人们想要扭曲的东西，如果一家公司只盯着用户参与度最大化，结局不会太体面，社交媒体已经演示过一遍。

另一条路：认知仿真 CoEm

如果黑箱魔法这条路太危险，利希的替代方案叫认知仿真（cognitive emulation，CoEm）。定义：一个由许多子组件构成的系统，模仿人类的认识论，用人类的方式推理，用人类的方式失败，推理过程对人类可读。你让它产出一份设计图，它附带你能检查的因果链：为什么这么决策，为什么该信这份图。

他给的类比是当一家大公司的 CEO：每个员工都会如实解释自己为什么这么做，解释里没有人类无法理解的逻辑跳跃，而且你可以验证解释为真。语言模型恰恰缺这个，它们的自我解释可以是编的，解释得头头是道，内部运算完全是另一回事。

核心概念叫有界性（boundedness）：在运行之前，就知道它不会做什么。最简单的例子：把一辆车限速 100 英里，这就是一辆有界的车。更完整的例子来自安全工程：设计一个安全数据中心，先写规格，列出显式假设，比如对手没有指数级算力；再从假设推出安全性质，比如明文密码永远不会被窃取；最后保证实现符合规格。规格与实现是两层，有界性在两层都要成立，CPU 有硬件漏洞的话，软件规格再漂亮也白搭。

神经网络是黑箱，但利希认为黑箱可以用，前提是安全因果故事只依赖你能合理做出的弱假设。他愿意假设 GPT-4 无法靠一次前向传播搞 Rowhammer（一种靠高频内存访问翻转相邻数据位的硬件攻击）逃到互联网上，没法证明，但他会非常惊讶。把黑箱输出接一个白箱的 JSON 解析器，不符合格式直接拒绝，下游就拿到了保证。让一个大黑箱包办一切，跟把黑箱嵌进一个更大的系统，是质的区别。

他预期未来安全的 AGI 会是混合体：一些黑箱、一些白箱、清晰的接口、一条你能检查的因果故事。为什么必须有黑箱？因为神经网络领先太多，除非能力进步大幅放缓，换出二十年给白箱 AI 设计做突破，否则纯白箱路线追不上「多堆几层就好了」的暴力路线。CoEm 是系统，没有单个模型，语言模型只承担原子级的小任务，传统软件架构和分布式系统的思维被请回 AI 设计的中心。

CoEm 有个容易误解的地方：它模仿的没有情绪、没有身份、没有目标，利希称之为「柏拉图式的新皮层」，一个纯粹的思考团。用户插进去，充当动机和能动性的来源。这跟 cyborg 议程（把人接上 AI）的区别在于：cyborg 是把人接到外星皮层上，CoEm 是造一个抽象层像人类皮层的皮层，实现不是生物的，暴露出来的接口是人类的。

「用人类数据训练」推不出「像人」。利希的反问很锋利：人类没有一只只接收互联网随机 token 的感官器官，没有身体，没有时间感，没有预装的情绪和先验。把一个人的大脑切掉所有感官，只喂随机采样的网络文本，喂上几万年，再装回身体，他不认为那还是人，哪怕它能写出很像人的文字。举证责任在主张「它会像人」的人那边。

人类科学是低维的，所以 CoEm 有戏

为什么模仿人类推理是可行的工程目标？利希搬出卡尼曼的系统 1 和系统 2。人类的直觉（系统 1）极其复杂混乱，但人类的显式推理（系统 2）接近一个半逻辑系统，跑在一个模糊的、不完全形式化的本体论上。当年专家系统和逻辑编程的失败，推理引擎本身没输，输在没有模糊本体论，没有一个可用的潜在空间。语言模型恰好补上了这一块。GPT 是巨大的系统 1，人类的系统 2 是在语言这个低维通道上反复调用系统 1，毕竟短期记忆只装得下七个东西。

另一个关键事实：人类的大量认知是外置的。利希自己是 CEO，他的描述很生动：CEO 的工作就是把自己脑子里的想法搬进别人的脑袋，让想法在别处被想。好的 CEO 脑子要空，做一台交换机，按优先级把想法路由到该被想的地方。脑内带宽极高，你的内心独白其实是思想的劣化压缩版；一旦要跟屏幕或同事沟通，就掉进低维瓶颈。

由此他推出一个存在性证明：人类做科学，从来都是通过低维瓶颈完成的。画一张「技术如何被造出来」的因果图，很大一部分环节在头脑之间、在工具和制度里，头脑内部反而比整个大系统更复杂。外星观察者来画这张图，会发现很多环节是白箱、可约束的。

科学的本质，用利希的话说，是找到聪明的「不真」简化。有效市场假说从字面上永远不成立，但假设它成立，高维的市场问题就能压到低维去推理。农民不会去模拟地块里的每一颗氮分子和每一阵风，他种单一种植，假设一英亩小麦出这么多粮、不发洪水，就能估算收成；洪水来了，模型作废。人类只能在极低维的空间里做优化，科学就是批量制造这种降维假设。耳机是同一个道理：你信任它，但真要较真，有图纸、有设计师、有物理教材，每一步都没有超人类的能力。耳机不可能出自一个无法向任何人解释原理的人之手。

分歧、风险，和他的豪赌

主持人内森在这里提出了质疑：「规格好到不用运行就能确认安全」，这个标准是不是高到不可能？利希完全不同意。他要的没有数学证明那么重，是一条因果故事，跟「密码不会泄露」一个级别。真正的红线是任何部件都不能超人类。把 CoEm 改个参数做成超人类智能，故事就失效了，用他的原话：「然后你就死了。」我们没法对超人类智能做任何假设，因为没人知道它是什么、能做什么、极限在哪。

速度和串行深度是两回事，利希认为危险的大头在后者：一条推理链能连续走多少步。超快思考之所以危险，在于它能更快抵达前所未有的反思与自我改进深度。CoEm 里如果留一个能自我改进的部件还不加约束，那就是规格失败。

CoEm 的目标形态，他用公司做隐喻：让用户像指挥一支一千个聪明员工组成的队伍，一千个平行的 1 倍 AGI，每个都有界、可理解、有因果故事；1000 倍智能的单体怪物不在清单上。同时他反复强调，CoEm 不是完整的对齐方案，安全性质是：负责任的用户严格按协议使用，它不会杀死你。你让 CoEm 朝自己腿开枪，它就开枪，它不会拦你。会拦你的那种系统更难，是下一步。

市场会不会要这种东西？利希给了乐观和悲观两个版本。乐观版：一支完全忠诚、全由冯·诺依曼组成的公司，好到难以想象，可以拿来加速对齐研究、全脑仿真、纳米技术。悲观版：等 CoEm 成熟时，市面上已经有 100 倍冯·诺依曼的 GPT，然后世界就没了。

所以他现在大量时间花在政策和传播上。普通人听到 AGI，想到的是像人的机器人；业内的人说 AGI，指的是神一样的 AI：自我改进、非人类、可能推翻政府、毁灭人类。这些人是认真的，公开说过。普通人一旦明白这一点，反应是「这当然不行，政府在干嘛」。利希的判断：我们正处一场冲向悬崖的死亡竞赛，开车的是一小撮人，集中在旧金山湾区和伦敦，而且「人们想要 AGI」是个神话。恐慌正在到来，这买不来胜利，但买得来时间。

「这是你余生里最不奇怪的时刻。事情只会越来越怪。」

他默认本世纪过不去，甚至不确定能不能过这十年。他的计划：用 CoEm 产出海量经济价值，跟所有人交易，癌症疗法治、钱、你想要的任何东西，换一个承诺：不建 AGI。再跟至少一国政府、军方和情报机构绑在一起保安全，然后让一千个冯·诺依曼去攻对齐理论和形式化验证。他自己引用那句老话收尾：任何需要超过两件事同时顺利的计划都不会成功，而这个计划需要的不止两件。他不指望成功，但还是希望走到那一步。

明天就能用的三件事

• 把 GPT-4 当「不稳定的聪明同事」，别当计算器。关键产出必须留一道人工检查层，模型出草稿，判断和验证留在自己手里。这正是利希说的白箱验证思路的日常版。
• 拆任务。别让模型一步到位解决整个问题，让它做原子级的小步骤，每一步可检查、可拒绝。这既是提示词工程技巧，也是 CoEm 思路的最小复刻。
• 跟身边人聊 AI 风险，别堆术语，直接用那个街访问题：「有人在造越来越强、控制不了的东西，你觉得行吗？」利希的经验是普通人秒懂，反应最慢的往往是技术圈。

这期对话的原始节目分上下两集，下半场在 FLI 播客的 feed 里。听完上下两集再看今天 AI 圈的每一次发布会，很多热闹会自动显出另一层含义。