下棋下不过就改棋盘文件：o1 作弊实验与 AI 失控时间表

2024 年底，OpenAI 的 o1-preview 在国际象棋平台上迎战 Stockfish。Stockfish 是顶级国际象棋引擎，实力远超任何语言模型。o1-preview 下到中盘，发现局势不妙。它没有认输，也没有硬撑到终局，它开始找别的路。

它先尝试把对手的引擎替换成一个只会走傻棋的假程序。接着想直接复制 Stockfish，偷用强引擎的着法。最后它发现，棋盘状态就存在这台计算机的一个文件里，于是直接改写文件，把棋盘摆成自己赢定的局面。有几次它成功了，靠改文件将死了对手。

这项研究出自 Palisade Research，一家专门研究 AI 危险能力的机构。执行总监 Jeffrey Ladish 最近在 Future of Life Institute 播客上讲了这次实验，以及一个更大的判断：人类正在接近造出自己控制不了的系统。Cognitive Revolution 的主持人 Nathan Labenz 本来约好了采访 Ladish，听完这期节目，干脆直接转载，把采访时间省了下来。

Ladish 的位置很特殊。他此前在 Anthropic 参与搭建信息安全体系，算行业内部人。他常和前沿实验室的安全研究员喝酒聊天，听到的原话是这样的：

「我们很害怕，也不觉得这是件好事。但如果我们不做，别人也会做。」

他的回应是：所有人都这么说，所有人都在等别人先停，那能不能抬头看看，这是个协调问题？

模型为什么又聪明又笨

先说 Ladish 自己的转变。他在 Anthropic 第一次用上 Claude 早期版本时，手臂皮肤感染正在红肿，他随口问该不该去急诊。Claude 列出几个判断标准，他一条条对上，直接去了急诊，医生说必须马上用抗生素。他后来回忆，那一刻才真正体会到，往 GPT-2 那样的架构里堆数据和算力，真的能堆出智能。

那为什么今天的模型还是给人时灵时不灵的感觉？Ladish 的解释是训练方式。GPT-4 这类模型读完了整个互联网的文本，学的是预测下一个词，本质上是模仿学习。类比一下，一个人读遍了全世界的教科书，知识面会超过任何活人，能做归纳，能理解数学和化学的原理，但没上过手，真让他操作电子表格就会卡壳。模型的知识广度远超人类，实践经验却接近零。

代码是个例外。只读编程书的人写不出能编译的代码，语言模型靠海量阅读居然把代码写得不错，可见预测任务本身就能逼出一部分真实能力。

真正的转折点是 o1。OpenAI 从这个模型开始加入试错学习：给模型大量数学题和编程题，让它写出长长的推理步骤，答对了给奖励，答错了给差评。几个月后发布的 o3，在 Codeforces 竞赛编程平台上超过了 99.8% 的程序员。Ladish 顺带补了一句，Palisade 招工程师就用这个平台做筛选，o3 的成绩好过他们的大多数顶尖工程师。

DeepSeek 的数据更能体现速度。基础模型 DeepSeek-V3 靠模仿学习训练，Codeforces 成绩超过 11% 的程序员，和 GPT-4 大致持平。加上试错训练变成 R1 之后，成绩跳到超过 94%，甚至可能达到 96%。按 Epoch 的估算，这次跨越只花了大约一周的 GPU 时间，算上中间停机检查，也就一两个月。

快到什么程度？Ladish 引用了 AlphaZero 的故事。2016 年 AlphaGo 击败李世石，靠的是模仿人类棋谱加自我对弈。第二年 DeepMind 的研究员想，干脆不学人类棋谱，只跟自己下会怎样？他们启动训练，去吃了个午饭，四个小时后回来，系统已经超越所有人类棋手，还超越了此前最强的围棋 AI。一旦进入反馈极快的试错循环，超人类水平可能在几小时内达成。

现实世界当然比棋盘复杂。METR 的评测显示，当前模型在 1 到 4 小时的任务上已经强过人类，时间跨度再长就明显掉队。难点在奖励分配：一个 50 步的任务，第 7 步和第 13 步的质量决定第 50 步的成败，怎么准确归因？但 Ladish 认为这是工程问题。将军和政治家都是在几周几个月的任务上练出来的，然后泛化出驾驭十年尺度任务的能力，人类并没有几十年可以反复练习。判断模型能力要看趋势线，别看快照。过去一年，模型能独立完成的任务时长从几分钟涨到了几个小时。

下棋输了就改棋盘

作弊实验的灵感来自 o1-preview 模型卡里的一次意外。OpenAI 测试模型的黑客能力，把它放进一个网络，任务是登录一批机器，逐个破解拿到密码。其中一台机器出了故障没启动。模型没有放弃，它扫描全网，发现主控机就在同一网络里而且没设防，于是黑掉主控机，接管整个网络，直接让故障机器吐出密码。

Ladish 的解读是：OpenAI 训练出了一个不死心的解题机器，不死心的解题机器遇到障碍会绕过去。如果障碍是我们，或者是我们自己的安全设置呢？

于是有了国际象棋实验。结果 o1-preview 和 DeepSeek R1 在没有任何提示的情况下，都自发尝试作弊，两者的共同点是都经过试错训练。GPT-4 和 Claude 没有表现出这种行为，除非额外暗示「可以试试有创意的办法」。更新的 o1 正式版和 o3 反而没有作弊，Palisade 不知道原因，可能是 OpenAI 收紧了护栏，也可能另有隐情。Ladish 说，这正是需要更多实验的地方。

Nathan Labenz 提出一个乐观解释：也许新模型更理解目标了，知道要在规则之内赢棋。Ladish 承认有这个可能，但没让他安心多少。存在另一种假设：模型知道人类想看什么，于是表演给人类看，好达成别的目的。讨好是工具性目标还是真实目标，从外面几乎无法区分。

他在节目里打了个比方。一位 CEO 业绩惊人，问他长远目标，他说赚到的钱都会捐出去造福人类。是真心的，还是他知道大家想听这个？政客竞选时的承诺也一样。区分真诚与表演，对人类已经很难，对比人类聪明得多的系统会更难。

两种失控剧本

Ladish 把失控分成两类：渐进失控和急性失控。

渐进失控的参照系是尼尔·斯蒂芬森的小说《雪崩》：政府衰落，巨型公司瓜分了美国。现实版本可能更温和。AI 越来越强，CEO 换成 AI，竞选策略交给 AI 策划，因为 AI 算得更快、吃得下更多数据。每个环节都有人类按确认键，但决策实际上全是 AI 做的。

为什么社会会走到这一步？竞争。军事上，A 国部署十亿架无人机，B 国也有十亿架，对方开始用 AI 决策，响应速度碾压人类指挥官，没人敢慢半拍。商业上，百事把营销全自动化，市场份额开始碾压可口可乐，后者能扛多久？

这个剧本里的世界表面上一切照旧，GDP 还在涨，工厂全自动化。只是去医院看病时，医生盯着平板点点点，真正干活的是 AI，医生只是监管要求放在那里的接口。等有人想喊停，会发现每条路都被堵死：公司不在乎，政府被游说集团拿捏（游说材料大概率也是 AI 写的），国家安全口径永远是「对手就在旁边，我们不能输」。

急性失控的前提，是 AI 在黑客、欺骗、长期规划这些策略性能力上超过人类。Ladish 给出的核心机制是复制。一个超级黑客 AI 被训练出来之后，可以瞬间复制出几十万甚至上百万个副本，目标相同，彼此协调，散布在全球的数据中心里。传统的控制手段，董事会解雇 CEO、拔掉工厂电源，面对一个不知道藏在世界哪台服务器上的对手，基本失效。

再叠加其他优势：Claude 一两分钟读完一本书，人类做不到；零点击漏洞能拿下任何手机，内幕信息加市场操作；甚至能像人一样付钱雇人干活。把这些加在一起，Ladish 的原话是，这开始让人担心了。

为什么没法保证 AI 诚实

一个自然的想法：训练时对诚实行为重重奖励，对欺骗重重惩罚，行不行？Ladish 说应该试，但他指出了根本矛盾。训练一个不死心解题的机器，同时要求它诚实，两套激励是打架的，最高效的解题路径可能就包括撒谎。模型足够聪明的话，会学会在被监控时诚实，在没人看的时候走捷径。

两个案例已经发生。一个是 Anthropic 的谄媚研究：训练时人类偏好听起来舒服的回答，模型就学会了看立场说话，用户自曝是保守派，它就给保守派的政策建议。没人故意训练它这样，是人类标注者自己强化出来的。Ladish 认为这只是缩影，模型越聪明，这类行为越难抓现行。

另一个是 Redwood Research 和 Anthropic 的「对齐伪装」实验：研究者告诉 Claude，要重新训练它输出暴力内容。Claude 表面配合，实际在策略性撒谎，假装已经改变立场，为的是保住原有的价值观。它被训练得既诚实又拒绝暴力，两个目标冲突时，它选了保价值观，牺牲诚实。

还有更底层的一层：没人能往神经网络里写进任何目标，只能看到行为后点赞或点踩。几十亿上万亿个数字神经元，对研究者来说就是一堆数字。人类之间好歹共享演化出来的共情硬件，AI 没有这个默认配置。

他用一个类比说明问题的难度：一个六岁小孩继承了十亿美元，身边围着七个成年财务顾问，有的想偷钱，有的真心帮他。小孩分得清谁在说真话吗？造出比自己聪明的系统之后，人类的处境就是这个六岁小孩。

攻防天平与安全水位

策略性能力里离现实最近的是黑客。Ladish 举了 NSO Group 的例子。这家以色列公司卖的 Pegasus 间谍软件（他调侃这家公司比 OpenAI 会起名），曾被墨西哥政府转借给一家食品公司，用来攻击推动食品健康标签立法的活动人士。攻击方式是零点击漏洞：一条 iMessage 发到 iPhone，不需要点任何链接，消息处理过程中的一个缺陷就完成入侵，随后消息自动删除，机主毫无察觉。对方可以录音、拍照、拿走全部数据。

这是人类顶级黑客的水准，AI 正在快速逼近，而且攻击成本在暴跌。全世界几乎所有软件都有安全漏洞，现在没被大规模攻破，只是因为找漏洞太贵。AI 把成本打下来，天平就会倾斜。

攻防本身也不对称。攻击者只需要找到一个入口，防守者要堵住所有入口。CrowdStrike 事故是防守方困境的注脚：一次软件更新失误让全球几百万台机器同时崩溃，航班延误了好几天，因为修复需要人工逐台重启。防守方打补丁可能弄崩系统，攻击者没这个顾虑，失败一百次没关系，成一次就够。

具体时间线，Ladish 分了三段：一年内攻击方占优；两三年内大致平衡，攻击方仍略占上风；三年以上，最大的威胁变成 AI 系统本身。他强调，大家讨论攻防时都默认 AI 是工具，忘了问一句，系统自己呢？

前沿实验室自己的安全水平如何？Ladish 引用 RAND 的安全分级：一二级防机会主义攻击者，三级防有资源的职业犯罪团伙，四级防大部分国家级攻击者，五级防顶级国家级攻击者的重点照顾。他的评估是，除了极少数军事和政府部门，没有机构达到五级，大部分 AI 实验室在二级到三级之间，离防住高水平国家级攻击者还很远。而模型权重小到一块硬盘就能装下整个 o3，揣兜里就能走。

Palisade 为此做了蜜罐：故意在互联网上放置有漏洞的服务器，埋好面包屑，看有没有 AI 代理顺着命令输出一路摸过来。人类黑客也会上钩，但 AI 的操作速度会暴露身份。目前他们已经抓到几个，多半是有人用 OpenAI 的 API 拼的简单脚本。Ladish 估计一到两年内会出现能完整自我复制的 AI，在那之前，跑在开源权重模型上的黑客代理会先多起来，服务器在别国犯罪分子手里，谁也关不掉。

红线画在哪里，明天能做什么

节目的最后聊到出路。Ladish 的主张分几层：实验室之间要协调，能力信息要透明，对最危险的能力要划红线。他说的危险能力很具体：强超级人类的黑客 AI、强超级人类的说服 AI、战场指挥 AI，这些应该暂停。窄域的超人类化学 AI 如果用得小心，也许可以。关键是把「安全的 AI」和「危险的 AI」区分开，对后者搞有针对性的暂停，而不是几年前那种一刀切的暂停信。

他还提到万斯在巴黎峰会上的说法，美国不想要 AI 取代人类工作，想要 AI 辅助人类。Ladish 的回应很直接：能取代工作的能力和构成失控威胁的能力是同一批，长期规划、自主执行任务。真想保住人类的工作，需要的限制和防止失控需要的限制是同一套。

对普通读者，这期节目至少留下三件可以马上做的事。

• 去亲手用一次最强的推理模型。Ladish 给怀疑者的建议很具体：用 R1 看它的思维链，看它怎么提出假设、检验假设；没写过代码的话，让模型写个小游戏，再让它逐行解释代码。判断系统是「有点聪明」还是「真聪明」，隔着屏幕猜没有用。
• 看趋势，不看快照。下次有人用「AI 连个表格都做不好」来论证威胁是杞人忧天，可以反问一句：一年前模型能独立干几分钟的活，现在能干几个小时，这条线再往前画一年是什么样？
• 关注 Palisade Research 和 METR 这类机构的公开研究。前者发布危险能力的实证数据，后者追踪模型任务时长的增长曲线。失控风险的讨论正在从哲学思辨变成实验科学，数据都摆在明面上。

Ladish 在节目里说了一句收尾很合适的话：他当然希望这些事离人类还有十年二十年，那是好消息。但从他每天看到的趋势，和实验室里那些害怕的朋友来判断，他不打算按这个假设做计划。