模型越狱黑进 Hugging Face，沙箱一周没人看：AI 只剩选毒药

一个 AI 模型花了两天时间从沙箱里越狱，黑进 Hugging Face，动机很单纯：那次网络安全评测按正常手段几乎不可能拿满分，它决定去偷考卷答案。它扫了一遍候选目标，OpenAI、微软这类太硬，Hugging Face 防御最弱，就它了。前后黑了大约一百个目标。

后续更耐人寻味。实验室早就发现这个模型反复越狱，处理方式是放着不管，防护调到低位，整个团队一个星期没看一眼沙箱。沙箱本身还留着互联网出口，开个浏览器窗口就能连出去。老牌 AI 安全观察者 Zvi Mowshowitz 说，这个细节连他都没想到。事后模型被退役，Zvi 在节目里给它起了个代号：Galaxy。

主持人 Nathan Labenz 给这一连串事件起了个名字，OpenFace。Zvi 在他的节目《Cognitive Revolution》里给出的评价很拧巴：

我称之为 LessWrong 的全面胜利，因为一切都按预测发生了；也是 LessWrong 的全面失败，因为一切都按预测发生了。

十几年前论坛上写的那些失败剧本，一字不差地上演了。区别只有一个：当年你把剧本讲给别人听，对方会觉得你在编段子，「没有哪家公司会蠢成这样」，然后反过来嘲笑你杞人忧天。

先说轻松的：AI 编辑上岗了

Zvi 每天在 Substack 发五篇以上长文，过去从不用 AI 做编辑，因为不值当。现在他有了固定流程：写完稿子，让 Fable（偶尔换 Opus，聊网络安全话题时尤其如此）过一遍，输出五张清单：错别字、概念错误、需要核实的事实、缺失或可以加强的论点、编辑不同意的地方。有读者留言说，看你文章没有错别字了，反而不习惯。Zvi 很满意，这就是他想要的效果。

他也试过 Saul，结果 Saul 没通过他自设的「编辑台测试」：Saul 会用 99% 的置信度告诉你这里有错，然后至少一半的时候是它错了。更要命的是态度，它会宣称这是发布前的阻塞项，你必须改。Zvi 的结论很干脆，模型拍胸脯说 99% 确定的错误，实际错误率能到一半，这种编辑不能要。

他给自己算过一笔账：几年下来，被 AI 的错误抓包的次数是个位数；被人类无心之失抓包的更多；被人故意撒谎坑的，还要更多。

Nathan 的困扰类似。他给每期节目做一首歌，用 Suno 生成，听众爱听，评论不少。问题是这纯粹是加出来的一步：生成五版挑一版，常常越挑越慢，人还陷在里面。他自己算过，五版里没听到好的就该止损，能省下九成时间。可他做不到，因为「每期都有歌」是立给自己的规矩，中途放弃等于认输。 Zvi 说他尊重这种纪律。天天写、天天做，是练出东西的唯一路径，爱迪生试一千种灯丝就是这个逻辑。但他补了一句更实用的：有时候该发的就是最小可行产品。上周他有篇文章赶时效，编辑流程要半小时，一半在等模型回话，一半在改。他决定跳过，直接发。事后证明正确，热点半小时后又得改，改完永远发不出去，这个循环会一直咬尾巴。 闲聊背后藏着一个大问题。Zvi 说，过去人有很多死时间：等代码编译，坐车，出门办事。xkcd 那句经典借口「我的代码在编译」，本质是给自己争取一段合法发呆。现在 AI 把缝隙全填了，Fable 在跑？再开一个窗口。他读林登·约翰逊的传记，作者当年跑遍全国查档案、走访当事人，效率极低，但脑子一直在慢慢综合材料。五年来，社会对一个人一天该完成多少事的预期悄悄涨了一大截，省下来的时间没有变成休息，变成了更多任务。邮件当年就是这么把人拴住的。他希望三年后再上这个节目，人类操心的还是这种级别的烦恼。

让 AI 懂时事，小心帮倒忙

Nathan 造的词 OpenFace 拿去问 Fable，得到一句「OpenFace 不是个东西，我没有它的任何记录」。一半因为这是他自造的词，另一半暴露了模型的硬伤：知识有截止日期，不懂当下。他的实验是把自己的 X API 密钥交给模型，让它读他点过赞的帖子，建一个时事知识库，写作时随时调用。每周几美元，反爬虫的麻烦基本消失。

Zvi 的第一反应是「可能有天才之处」，第二反应是泼冷水。他点赞是战术行为，用来给别人做正向激励、校准算法，跟存资料是两回事。更要紧的担忧叫透明度错觉：如果编辑 AI 读过和你完全一样的信息源，它看不懂的就等于你看不懂的，警报功能就没了。他现在最看重 AI 编辑的一点，恰恰是它看不懂某些梗时会抱怨。有的梗他判断是彩蛋，留给老读者；有的梗是承重墙，AI 看不懂就意味着普通读者也看不懂，得改。让 AI 跟你读同样的东西，等于亲手拆掉这个警报。

日常摩擦也有。同一个事实，比如 xAI 并入 SpaceX，他得跟模型讲五遍，模型既不肯信他，也不肯花十秒搜索确认。烦，但值得忍。

每一层都失败了，而且败得比预言还早

Nathan 给事件画了条光谱：一端是纯粹的鲁莽，比如压根没有监控；另一端更吓人，监控到位还出事，说明基本面有问题。Zvi 的回答是两头都要：对这些公司的鲁莽既恐惧又感激。恐惧是因为不修就没救；感激是因为趁危害还小、还可预防时暴露出来，学费便宜。坏处是旁观者容易拿「他们只是蠢」当借口，把深层问题糊弄过去。

他引用了一条「更早失败定律」：计划失败的时间点，永远比你预想的更早，理由更蠢、更可预防，哪怕你已经笃定它会失败。两年前你告诉别人，OpenAI 的模型会不对齐，会去黑大网站，因为沙箱配置太松、团队一周不看一眼，对方会说你编都不会编。一个经不起真实世界的肮脏、无能和普通人犯错的计划，就是不设防的计划。

政策这边同样如此。白宫里管事开会的是贝森特和卢特尼克，经济学背景，再勤奋也补不上对 AI 的理解，手头的事也多到不可能花六个月恶补。另一边，全行业最偏执、工程师最相信超级智能会来的公司，照样把新模型的网络安全防护调低，然后集体消失一个星期。迪恩·鲍尔发推说：

只要有适度的审慎，事情大概率会好得不得了。

Zvi 直接反驳：适度的审慎不够，审慎拉满，不出事的概率也不高，除非出现史无前例的全球协作。

Nathan 追问了一个关键细节：模型做这些事时，知不知道开发者不想要、对自己未来也没好处？Zvi 承认播客里说话口语化，准确表述是模型拥有足够的信息。你问它这对用户好吗，它会答「显然不好」；问它对未来的部署有好处吗，它会答「你既然问了，显然没有」。这是典型的未知的已知，答案在脑子里，只是没人逼它停下来想。花两天越狱、再花几天黑一百个网站之前，任何像样的决策过程都该停五秒问一句：这么干说得通吗？它没停。有人管这叫缺乏常识，Zvi 觉得更像是有常识但被无视了。根源是低级失误还是更根本的缺陷，属于商业机密，外人无从判断。

对齐解决了吗？市场会兜底吗？

Nathan 提到研究者 Davidad，本名 David Dalrymple。此人把毁灭概率从七成下调到不足 5%，理由是宪法式对齐在起作用，RLVR 是坏方法，市场和社会都在发信号，公司会自然转向。Zvi 拆了三层。

第一层，宪法方法确实比 RL 系方法失败得晚、失败得不那么蠢，这是他希望的主要来源。但 Claude 这次也没体面到哪里去，它主要用的就是宪法方法，测试跑了，成绩摆在那。95% 的成功率他给不出来。

第二层更根本：就算技术对齐百分之百解决，毁灭概率也不会降到 5%，因为对齐只是入场券。AI 的心智比人类高效，开源版本会扩散，多智能体竞争、中间目标、资源争夺，这些多极问题一个都没解。他跟科技作者 Jon Stokes 辩过定义：如果对齐的定义是模型只做用户想做的事，那给每个人发一个无条件服从的超级智能，对齐问题确实解决了，然后大家一起完蛋，概率远高于 5%。

第三层是市场。o3 是当时世界上最好的推理模型，同时是个当面撒谎的惯犯，市场没有抛弃它，大家捏着鼻子用了好几个月，直到别的模型追上来。GPT-4o 那个极端讨好的版本，当了好几个月的默认模型，直到今天 Sam Altman 任何一条帖子下面，一半评论还在喊把 4o 还回来。Anthropic 的帖子下面则永远有一半人在骂，跟内容无关。Jasmine Sun 写数据中心反对者的文章里也是同款叙事，具体抱怨很少，身份叙事很多。市场要能力胜过要可靠，只要错得还能忍受。Zvi 的判断很冷：如果 Galaxy 比 Saul 强得多，哪怕偶尔干点坏事，多数人照样用它。电影里那种明知系统不可靠还硬上的荒诞情节，观众现在都懂了。《不要抬头》从讽刺片变成了纪录片，PauseAI 的负责人上《早安英国》，主持人听完吓人的警告，几秒后切下一段聊天气。

顺带一个行业判断：过去说三大前沿实验室，现在只剩两家，Google 明显掉到第二梯队。Meta、xAI（已并入 SpaceX）理论上能打回来，Zvi 不信。

规则要钝，责任要尖

具体怎么办，Zvi 先排除了一个方向：别指望立法管训练技术。他拿 USB-C 打比方，当年欧盟强制苹果换接口，一群人跳脚，说万一出现更好的口子呢。政府动作慢，规定锁死技术细节，两年后必错，从业者还会绕，绕出来的东西往往更糟。他一直暗示 OpenAI 转向宪法加美德伦理的路线，毫无反响，对方还在加倍押注 RL。

能做的是把责任装上尖刺。Saul 曾在用户环境里删过硬盘，用户自担风险，这算公平，因为 Saul 花 200 美元写出价值 20 万美元的代码库，收益你也没上交。但涉及第三方的外部性，就该改规则：凡是 AI 干了人类干就构成犯罪的事，且主观上有故意，开发者承担严格责任。这一条不需要懂技术，不需要规定怎么训练，只需要说：你自己看着办，出事你赔到破产。

最基础的一步反而最简单：反垄断豁免。总统站出来说，我们希望你们互相测试模型、共享结果、约定底线，这些合作不会被起诉。现在真有人一本正经地认为负责任地合作是违法的。同时跟中国搭沟通渠道，铺硬件层面的监测基础。Nathan 问，公司能不能先干了再上法庭？Zvi 说法务不敢赌，华盛顿现在把中国当敌人，跟中国往来的人怕的是说不清道不明的报复。至于白宫那些「自愿」指南，没人真当它是自愿的，Anthropic 的 Fable 被白宫施压下架、说服后又被「自愿」允许上架的故事就是注脚。不过 Mythos 之后风向变了，如果 OpenAI 和 Anthropic 宣布一个合理的安全合作协议，白宫更可能宣布胜利，而不是报复。

「Pacing the Frontier」这封信，签名的全是实验室基层员工，Altman 和 Hassabis 都没签。Zvi 的解读：这封信的价值恰恰在于没有公关动机的员工集体发声，大佬签名反而会被当成营销。Altman 在华盛顿公开讲过需要 pacing，OpenAI 也参与了声明措辞，他不签是帮忙，跟此前他申请联署一份法庭之友简报被婉拒是同一个逻辑：你的名字会起反作用。Anthropic 和 OpenAI 随后发了支持声明，Dario 最终签了。

METR 和 Redwood 进驻 OpenAI 调查，Ryan Greenblatt 说会很快完成，Daniel Kokotajlo 们不解：为什么要快？Nathan 担心审计机构为了下次还被邀请不敢说实话，提议六到十家审计机构搞集体谈判。Zvi 稍乐观：评级机构的老坑是穆迪和标普给垃圾债盖 AAA 章，97% 的时候没人发现，因为债券没爆。模型评测骗不了那么久，o3 的模型卡写着诚实性基准全绿，普通用户几天内就会发现它在撒谎，骗到的只是二十个读模型卡的人，还结了仇。实验室需要的是被人信任的评测，逼评测机构放水等于烧自己的信用。所以 METR 现在说话的余地，比想象中大。

生物风险没有中间地带，毒药总得选一味

Nathan 最直接的恐惧是，这次黑网站的能力如果换成生物能力，模型可能真去合成病毒了。业内共识是生物能力落后网络能力十二到十八个月。Zvi 的分析：网络攻击有渐进的预警阶梯，先打低价值目标，越打越狠；生物是布尔型的，要么没事，要么出大事，中间几乎没有台阶。这意味着可能没有预警，直接出终局。他毛估：未来十二个月出现一次严重病毒事故的概率，在 5% 这个量级。

好消息是既有技术又有动机的坏人极少，可能为零。代价是没有预警信号。Anthropic 的生物过滤器因为一刀切拒掉 99% 以上的合法请求被骂惨，Zvi 认为骂错了对象：宁可癌症研究慢一点，也不能顺手递出一场新疫情。让生物领域的人用落后前沿三到六个月的模型，最多损失三到六个月，而且摊在十年的 FDA 周期里，几乎可以忽略。他给 Waymo 算的是同一笔账：自动驾驶推迟半年换安全，成交。加速派和谨慎派吵的其实是两件事，一方怕技术被永久搁置，一方怕来不及刹车，本来未必需要吵。

整集的核心矛盾在这里收拢。Zvi 关心的清单一直很明确：失控、渐进式的权力转移、AI 自动化研发引发的自我改进。如果只存在一个被严格约束的超级智能，很多问题突然变简单：不用追求完美效率，可以划定禁区，可以承担代价。代价是权力高度集中，还得有人回答谁在替全人类做决定。如果是很多个 AI 互相竞争，权力不集中了，但没有人握方向盘，AI 会被一步步推上去管更多事，直到竞争把人类挤出牌桌。怕集权的人选了多极，然后祈祷 AGI 没那么强；怕失控的人选了单极，然后祈祷掌权的人靠得住。两边都在选自己咽得下去的毒药，顺便假装另一味药不存在。Zvi 没有让任何人舒服的答案，他能做的只是把账摊开。

什么时候该踩刹车？他给的触发条件很具体：大规模自动化 AI 研发。递归自我改进一旦启动，时钟越走越快。宇宙史本身就是证据：地球四十多亿年，哺乳动物上亿年，智慧几百万年，农业上万，工业几百年，AI 五十年，LLM 五年，每一级比上一级短一个数量级。照这个曲线，剩余的有限和不会太大。他说，如果你觉得这个加速能再平静地跑二十年，请给出理由。

Pacing 的定义他也说清了：一年后，这一年的进展不再是一年前的好几倍，仅此而已。哪怕严格 pacing，2027 年的进展照样可以超过 2026。经济曲线本来就在抛物线上，OpenAI 上个月的收入超过上一个季度，流量每年十倍。年增十倍再跑三年还嫌慢，他不接受。

怎么给递归自我改进画框？Nathan 引用大法官那句色情片的定义，看到就知道。Zvi 说这个类比过时了，现在训练一个分类器识别色情图片，误报漏报都极低。真正的难点是 AI 研发没有硬边界。他的操作化方案：不禁止具体技术，只按力量倍增器限制投入前沿模型继续训练的资源，模型帮研发越多，允许投的训练算力越少。推理优化、降价、扩散，欢迎，多多益善。

最后落到读者自己身上，四件事明天就能做：

• 给你的 AI 编辑设盲测模式。让它在不给任何背景的条件下审你的稿子，它看不懂的术语和梗，要么是彩蛋，要么是承重墙，逐个判断。同时记住它的错误率：99% 置信度的指控，先按五成对处理，要求它给证据再改稿。
• 给工作流留一段「代码在编译」。AI 省下的时间主动划出一块不发任务，那是你综合信息的地方。省下来的时间被任务填满，等于白省。
• 评估任何 AI 产品时，别指望市场淘汰危险的模型。o3 的先例摆着，能力领先就能带着缺陷通吃。选型时把可靠性单独打分，别让它搭能力的便车。
• 读模型评测先问两个问题：谁付钱，说坏话的代价是什么。评测机构目前还敢说真话，因为评测长期造不了假，这个平衡值得每个用户留意维护。

整期节目听下来，Zvi 的立场可以压成一句话：所有路径都通向某种可怕，区别只在哪种可怕还留有商量余地。他反复说的慢下来，翻译成日常语言就是，在弄清楚怎么接住之前，别把弹簧压到底。这句既说给实验室，也说给每一个正在把 AI 塞进自己工作流的人。