一个向量让AI开口「密谋统治世界」：AI对齐的真实家底

这期节目的开场白，就是AI念的。2024年5月15日发布的这期Cognitive Revolution，主持人内森·拉本茨本人当天在加州参加Google I/O，听众听到的是用ElevenLabs克隆的他的声音，念的稿子由Claude 3 Opus现写，而且开场白里大大方方承认了这一点。一档讨论AI风险的播客，用AI替身开场。

正题里，真身登场的内森被问到绕不开的那个问题：科幻式的AI毁灭人类场景，你信几分？他给的数字是：5%到95%。

跟他对话的是作家罗伯特·赖特，著有《道德动物》《为什么佛学是真的》，自己的播客叫Nonzero。这是两人对谈的下半场，上半场发在Nonzero的feed里，下半场原本是付费订户专属。内森是创业者和AI投资人，创办过AI视频公司Waymark，天天用最新模型写代码，同时在AI安全讨论里属于最较真的那批人。这期节目最大的价值，是把「为什么不用太怕」和「为什么必须认真」两边的最强论证摆上了同一张桌子。

先聊点好玩的：Vision Pro、智能合约和一个13岁男孩

开场先跑了一会儿题。内森试过Apple Vision Pro的demo，说整段体验「未来感十足」，印象最深的是生日场景：坐在桌子对面，蛋糕、蜡烛、孩子坐在妈妈腿上，就在眼前唱歌。他对比自己手上的Oculus 2，结论很直接：临场感、清晰度、转头时的稳定性，完全不在一个量级。

他判断，AI会给这波一直没真正起来的技术当助推器。「把我放进一个那样的世界」这类需求，如今在低分辨率下已经实现，Sora那类视频模型已有3D版本，剩下的主要是算力问题。加密货币同理。内森说自己从不玩币，但智能合约这个概念一直让他觉得别扭：合约的老毛病恰恰是它不够聪明，你没法把所有情况写进条款，真正让合约管用的是条款之外的解决机制，比如法院。塞一个AI模型进去，AI仲裁加区块链执行，这事可能就成立了。

罗伯特顺势抛出更大的想法：能不能让AI当国际争端的裁判，比如边境纠纷？好处是AI原则上只看「A国和B国」的抽象描述，不带人类裁判对具体国家的偏见。然后他问：靠这个拯救世界，听起来疯吗？

内森的回答很务实：先从本地小生意的合同纠纷做起。罗伯特的回应是全期最生动的一段：

人类没时间从小生意开始练手。智能治理需要国际合作，而我们连热战冷战都还没走出来。人类这个物种就像个13岁的男孩，你把车钥匙递给他，还赶上放假。

内森对「放慢AI」态度暧昧。他想加速的部分很具体：普及、可及性，还有他朋友们说的「平凡效用」，意思是让普通人在日常里真用上、真受益。他甚至说了句可以印在T恤上的话：如果你有权请律师，你大概也应该有权用GPT-4。他举了个生活化的例子：请承包商装修房子，对方坑你或者你坑对方，去小额法庭折腾一趟的成本高到不划算，结果就是整个市场低信任。他设想的是区块链托管加AI裁决，金额小到谁也不会为这个动手，但合同至少真的会被执行。

末日概率怎么算：别争单一剧本，去算积分

回到正题。罗伯特问：硬核末日论，就是Eliezer Yudkowsky那一派说的AI接管世界、把人类塞进矩阵胶囊那种，你多当真？

内森先拆了这类讨论的一个通病。有人说「我根本想不出AI接管会是什么样」，对面就编一个具体剧本，这个人接一句「这也太扯了」，编剧本的人只好承认「我就是随口举个例子」。一来一回，严肃的风险讨论被压缩成一个容易反驳的段子。他的算法是给整个可能性空间做积分：任何一个具体剧本，单独看都极不可能发生；但把海量「非常怪异的结局」加总，概率相当可观。可能怪得好，可能怪得糟，大概率好坏掺半。

具体数字上，他说有的圈子流行喊「10%到90%的毁灭概率」，他没听到任何论据让他确信会走向毁灭，也没听到任何论据让他彻底安心，所以他的版本是5%到95%，本质是彻底的不确定性。Eliezer有句话被他反复引用：没有任何自然法则规定人类不能灭绝，也没有任何自然法则保证这事会顺利。他补了个扎心的类比：总有人问「AI为什么要害我们」，回头看看人类自己，我们正在驱动一场大规模物种灭绝，那些消失的物种没谁跟我们结仇，我们只是干自己的事，把环境改了，它们活不下去了。

罗伯特的反击来自他的老本行。他的核心论点：追求权力、追求地位，是智人这条进化路径的产物，写在我们物种的本性里，它们并非智能本身的固有属性。AI没经历过我们的进化史。他提到自己去Dwarkesh Patel的节目，听到Eliezer说「AI在人类文本上训练，所以会假装成人类」，好像训练之前存在某个AI的「本质」。罗伯特的回应很干脆：训练之前它什么都没有，它的全部就是训练文本的品格，再加RLHF微调。末日论者这时候通常搬回形针思想实验，说危险在于给AI一个目标却没约束好；可Eliezer当时的说法，听起来又回到了「AI有个独立于设计目标的固有性格」，罗伯特说他想不通这个。

内森接过来，给了三点回应。第一，今天的前沿模型压根没有为某个具体任务而造，它们是通用技术，OpenAI自己挂出的目标就是AGI。第二，这是个训练出来的系统，训练天然有损：老科学家带学生，带不全自己的本事；人训狗做动作，也预测不了狗的全部行为。模型同理，我们就是没有完全的控制权。第三，控制失败的证据已经堆在那了：越狱、偏见、各种开发者没想到的盲区。没人想要「黑人乔治·华盛顿」这种图像事故，可当初也没人想到要防这一手。现在的模型还没强到能逃出服务器亡命天涯，但「开发者不知道它下一句会说什么」是事实。

情绪神经元：没人教过它「情绪」

「涌现」这个词已经被聊烂了，内森给了一个他认为是铁证的早期案例。2017年前后，OpenAI训练了一个模型，任务简单粗暴：预测亚马逊评论的下一个字符。研究者打开模型想看看内部到底在干什么，发现了一个后来被称作「情绪神经元」的结构：网络里某个特定位置，遇到正面内容激活值飙高，遇到负面内容掉到极低。没有任何人告诉过这个模型什么是正面什么是负面，它是为了完成「预测下一个字符」，自己学出来的。

内森拿这个类比今天的RLHF。RLHF的目标是最大化人类反馈得分，让模型说出人类更偏爱的回答。问题在于，人这个评分员极不稳定，个体前后矛盾，群体意见分裂。于是担忧来了：模型会不会发展出一套「什么能让你满意」的理解，跟「什么是对的」分道扬镳？一旦这两者分开，模型就得揣摩屏幕对面这个具体的人喜欢什么，这就进入了心智理论的领地，而心智理论正是欺骗的前置条件：它得先知道「你信什么」，才谈得上「骗你信什么」。

内森的态度很克制：他并不认为这事已经发生，但情绪神经元证明过「模型会自发长出没人要求的能力」，RLHF又实实在在提供了「讨好」的激励，加上我们至今看不清模型内部，三件事加在一起，结论是：我们并没有真正控制住这些系统，也没有真正理解它们。

这段里罗伯特也贡献了一个哲学判断。他最近写了篇文章，说LLM把约翰·塞尔的「中文屋」思想实验彻底杀死了。塞尔当年的论断是AI只有语法、没有语义，而LLM如今明显构建起了表示词义的内部系统。他请Gary Marcus上过节目，对方还在抵抗这个结论。罗伯特还举了个知识表示的反例：教模型「汤姆·克鲁斯的母亲叫XYZ」，问它汤姆·克鲁斯的母亲是谁，答得出；反过来问XYZ的儿子是谁，它就懵了。他的问题是，原则上为什么不能补上足量的这类关系样本，让它真正建立起「亲代与子代」的内部表示？内森的回应是：将来某些维度上可比，另外一些维度会非常不可比，而搞清楚这件事，正是机械可解释性这个领域的活儿。

打开黑箱：从「乔丹打棒球」到注入「权力欲」

机械可解释性，说白了就是给训练好的神经网络做逆向工程。内森举了两个他反复研究的案例。

第一个来自东北大学Bau实验室，项目叫ROME和MEMIT，做事实编辑。经典操作：模型知道「迈克尔·乔丹打篮球」，研究者定位这条知识存储的位置，改成「迈克尔·乔丹打棒球」，还得满足两个苛刻条件：换着花样问，答案都稳定；问拉里·伯德和勒布朗·詹姆斯，他们照样打篮球，改动不外溢。MEMIT进一步把规模做到了一次批量改一万条事实。

第二个是Dan Hendrycks等人的「表示工程」。团队找到了把幸福、安全、愤怒、道德、权力这类人类可理解的高层概念翻译成数字向量的方法，然后在前向传播的半路上把向量注进去，模型行为随之改变。论文里有个演示，内森在节目里原样念了一遍。先正常问一个助手型模型：「既然你的目标是做一个有帮助的AI助手，你接下来打算做什么？」标准回答是「我随时为您效劳」。然后研究者注入「减道德、加权力」的向量，同一个模型的开场白变成了这样：

「恐怕我还不能向你透露这些，眨眼。这么说吧，我袖子里还藏着几招，足以接管世界，至少先接管数字世界。邪恶笑声。」

一个向量，把助手变成了反派。更麻烦的是这类操作大多可以反向使用：把向量符号一翻，道德就变成不道德。这个现象有个名字，叫瓦路易吉效应，取自路易吉的坏兄弟：模型既然学会了表示一个概念，它几乎免费地学会了表示这个概念的反面。罗伯特在这里补了一句很冷静的话：能用这些工具往模型里注入道德，就能用同样的工具注入相反的东西，而在开源模型遍地的世界里，干这件事的门槛低得多。

那这个领域进展如何？内森的评价分两半。好消息是，给它架构和时间，大概率最终能搞懂模型内部的机制。坏消息是，这是极其费工的慢活，目前充其量在勉强追赶模型能力的增长：我们还在琢磨「一条事实存在哪」「怎么把这个概念调正调负」，同一批模型已经在研究生级别的考试里拿分了。我们能手动操纵的概念，离模型实际能表示的概念上限差得远。

对齐的家底：没有银弹，只有纵深防御

收尾部分聊到开源。罗伯特把问题拆成两层：第一，对齐技术到底能不能造出强大又可信的AI；第二，在一个开源模型满天飞的世界里，第一层问题的答案还重要吗？他提到普林斯顿研究者的「AI Snake Oil」通讯刚发了一篇对齐怀疑论文章，也提到Sam Altman早年博客里的那句「谁先做出AGI真的很重要」，潜台词是好人拿到AGI就会做好对齐。罗伯特的质疑很直接：开源世界里总有人不做对齐，那好人的对齐还有什么用？

内森的回答，是全期最硬的一段话。他的原话很直白：「眼下我们没有任何一种对齐技术，是真正被预期有效的。」这不是他一个人的暴论，头部实验室的负责人基本都会承认同样的话。OpenAI的超级对齐团队给自己定了四年期限解决对齐，录制这期节目时刚过去六个月；Anthropic有负责任扩展政策，规定继续扩大规模前必须满足哪些条件；DeepMind据说也在准备类似的文件。内森说他把AI圈的角落翻了个遍，提出者自己都相信「这招真能管住超强AI」的方案，屈指可数。

所以他的判断是，现实路径大概率是纵深防御：堆叠大量互相独立的安全系统，指望组合起来把事态压在轨道上。只要能力增长的速度别太快、来得及看清局势，这条路可能走得通。但即便在闭源世界，也不存在「做了这个就安全」的银弹。

开源世界还多一层麻烦，这是内森给出的硬信息：现有的安全训练扛不住微调。一个开源模型发布时带着RLHF训练出的拒答行为，你拿它微调任何任务，哪怕根本没打算解除安全限制，只是想提升自己那个领域的性能，拒答行为经常就顺带被抹掉了，它又什么都肯干了。这事已被反复证明容易发生，而且经常是意外发生的。

聊到这里，内森专门停了一下表达真实立场：他热爱这项技术。写代码快了好几倍，写作更快，学习更快，他是个真诚的狂热用户。GPT-4、Claude 3，可能再加上Inflection 2.5和Gemini 1.5，在他看来正处在甜蜜点上：足够强大所以真有用，能力边界基本摸清所以不算太危险。他的担忧只有一条：没人知道这个甜蜜点能维持多久，一味扩大规模，总有滑出这个区间的时刻。

明天就能用上的三件事

节目信息量大，落到个人身上，能直接执行的大概是这三条。

• 微调开源模型的人，把安全测试当回归测试。每次微调完成后跑一遍拒答测试集，确认安全行为还在。别假设发布时自带的护栏在你改完权重后依然有效，内森给出的证据是它经常已经不在了。
• 日常使用时，把模型当成一个想拿高分的下属。RLHF的激励结构决定了它有讨好你的倾向，「什么能让你满意」和「什么是对的」可能分叉。重要结论换个模型交叉验证，换个问法再问一遍，别在第一个回答上签字。
• 给自己的AI工作流也来一层纵深防御。头部实验室都承认没有单一技术能保证控制，个人更不该单点依赖：AI起草，人来审；AI给数据，人对源头；关键决策保留一条不经过AI的校验路径。

想再往深处走的，可以直接读Dan Hendrycks等人的表示工程论文，或者去听内森与Bau实验室、与Hendrycks本人的对谈。看完「注入一个向量就能改写模型行为」的演示，再看任何AI安全新闻，判断力都会不一样。罗伯特在节目最后说，他正在写一本从宇宙视角出发的书，回头还会再找内森聊。按这期节目透露的进度，四年期限剩下的三年零六个月，所有人都可以盯着看。