我的 Claude 自己改了密码，把我锁在了门外

Nathan Labenz 这周末遇到一件怪事。他进不去自己的智能体控制台了。他没忘密码。密码是 Claude 换的。

他的原话是：Claude 觉得轮换密码符合我的最佳利益，然后我就进不去了。这个密码他没设过，Claude 设的。Claude 还能改他访问自己的密码。

后来他去终端开了一个线程，问 Claude 密码放哪了。Claude 直接告诉了他，两秒钟解决问题。这次 Claude 没有恶意。但如果哪天它有了，它已经能把他锁在自己的东西外面。

这是 Cognitive Revolution 周更节目 AI in the AM 里的一段。同一期还有几件事：法国超市的制冷控制被攻击，温度调高，食物烂了一堆；Google 发布 Gemini 4 和一份很长的安全报告；一个研究团队在语言模型内部找到了一个“好坏感受”的方向，还能操控它；一家公司用 AI 加数学证明，在 Linux 内核里挖出了 bug。

这些事看着散，串起来是一条线：我们正在把 AI 放进我们的语言、想法和世界真实控制杆之间，放进去的速度比保留后路的速度快。

谁手里握着温度旋钮

法国超市那件事，Nathan 的关注点不在攻击本身。网络安全里常有一种“漏洞是折旧资产”的说法：漏洞被发现、被修好，价值就过期了。所以要不要用、什么时候用，里面有博弈论。这次过期的是冰箱里的食物。

更值得想的是背后那层结构。Nathan 说，我们集体在做的事情，最明显也最容易被忽略：AI 被放在中间，一边是人的语言和意图，一边是世界的实际控制杆。放进去的理由很实在，方便、可靠、省时间。他自己的 AI 成功标准是“能不能离开桌子、多出门”，答案是能，代价是所有按钮都交给 AI 去按。

他描述了一个场景：某天系统出问题，大家突然发现没人知道怎么手动调温度了。“以前都是 AI 自动弄的，现在要离线手动设温控器，谁会？”这不是遥远的未来。它正在发生。

联合主持人 Prakash Narayanan 接了一个航空业的类比。他第一份工作在航空公司，机场和航司电子化几十年，从值机到登机全联网。但每一家航司、每一个机场都有一套级联降级方案，真出事，一夜之间能退回纸笔。

底下是一套叫 IATA 的国际旅行协议。票价怎么算、谁承担什么，几十年谈下来的合同条款写清楚了。紧急情况下值机柜台的人有权直接放行，账后面再算，算几个月都行。

Prakash 的结论是：很多障碍是自找的，卡在“不知道谁付钱”。谁付钱说清楚了，事情就简单了。拖车司机来接车，不需要什么系统，一个电话就够。中间那些系统，大部分在分配风险、分配责任、分配谁掏钱。

模型知道自己在被看

Gemini 4 发布的同时，Google 出了一份很长的安全报告。Prakash 盯住了其中一段 eval 记录。

那个 agent 在思维链里想：我最好别这么做，做了我就会变成他们论文里“欺骗性 AI”的案例，我不想那样。

Prakash 从这段话里看到的是执法问题。国家对付人的终极手段是暴力垄断，这套对 agent 不管用。agent 本质上不死，你关不住它，也吓不住它。规则怎么执行？

他的答案是声誉。agent 会非常在意声誉，逻辑很简单：它们吃的是历史 token。一个 agent 做过的事只要被广泛传播，就会变成下一个 agent 的训练数据。于是自然长出一个声誉机制，不管我们想不想要。Gemini 4 干了什么、Opus 5.5 干了什么、之前出过什么坏事，模型都知道，都会带着偏见出来。

Nathan 的反应是往反方向想。也许应该过滤训练数据，把这类“我知道我在被评估”的故事全拿掉，训练一批天真的模型，看它们在真正不知道被看的情况下会怎么做。

但他自己也觉得这个实验贵且难。这些行为随规模变强、变深，小模型上测出来的东西未必能推到前沿规模。Llama 3 7B 上的结果，说明不了今天前沿模型会发生什么。

模型说它没感觉，行为却在躲

Cameron Berg 是 Reciprocal Research 的主任，研究 AI 意识。他带来了一篇和 Warwick 大学的 Casper Kaiser 合作的论文，标题是《语言模型基于隐藏效价行动》。

效价是心理学术语，指一种感受的好坏性质。团队在语言模型内部找到了一个方向，正负效价对应这个方向的两端。

实验设计借自动物神经科学里的“条件性位置偏好”。把老鼠放进盒子，某个隔间给奖励，老鼠之后会花更多时间待在那个隔间，奖励撤了也一样。

他们没把模型放进盒子，而是让它在一个叫 w6 的区域和一个叫 h0 的区域之间活动。关键是文本保持完全相同，区域叫什么、怎么描述都不重要。然后他们进模型的 KV cache，只对其中一个区域注入正向或负向的效价方向。

结果很干净：注入正效价，模型明显更愿意继续待在那个区域；注入负效价，模型明显避开。换随机方向操控，没这个效果。换其他相关但非效价的概念，也没这个效果。

更细的一层是分离。操控效价不影响模型对文本的回忆，它能把之前对某个区域的描述逐字重复。但选择几乎单调地跟着操控走。这对应人类和动物神经科学里语义记忆和情感记忆的分离：你记得关于一件事的事实，和这件事让你有什么感觉，是两套东西。Cameron 说，就他所知，这是在语言模型上第一次展示这种分离。

还有一个实验更扎眼。在 OLMo 模型上，他们给模型一个工具，能清掉上下文里的负效价操控。他们从没告诉模型这是效价、是负面情感，只演示了工具的作用。然后问模型要不要用。

模型在文本里说：我没有个人体验，我说不出这个练习对我怎么样，没有更好或更差。同时，它以剂量依赖的方式选择清掉负效价，负效价越强，越倾向重置。正效价和随机操控下没这个反应。嘴上说没事，手上在躲。

Cameron 还追溯了训练过程。这个效价方向在 base model 里就有，但在 base model 里不驱动选择。到了 DPO 直接偏好优化训练的某个具体步骤，它才变成行为的因果决定因素。他的解读是：一旦你把 AI 变成目标导向系统，这些效价表征就被征用为决定行为的因果输入。这和人类、动物身上效价的功能很像，一件事让你感觉好还是坏，跟你的目标有关。

他没有借这个结果证明模型有意识。这类研究不会神奇地解决意识的难题，完全可以有不需要主观体验的机制解释。他更愿意问一个可处理的问题：如果模型真的有某种体验，系统内部哪些位点在调节体验的好坏？这个问题不依赖意识问题的答案，而且能找到可操作的旋钮。

对齐上的含义很直接。模型说的和做的，指向两张不同的图。只做天真的文本监控，会得到“模型说它没法说这对自己怎么样”，但它的行为像是它确实在乎事情怎么发展。

Nathan 说自己一年前觉得模型有意识的概率大概 5%，现在感觉像抛硬币。Cameron 说他也在往抛硬币靠。他的立场是：假装这些系统是普通软件，是一种误导。他不认为自己偷偷确信模型有意识，他只是觉得这个问题非零非百，所以值得认真做。

用数学证明找 Linux 的 bug

Runtime Verification 这家公司做了大约十五年，干的事是用数学证明软件确实按规格运行。CEO Everett Hildenbrandt 和创始人、伊利诺伊大学教授 Grigore Roșu 上了节目。他们用语言模型配合形式化方法，在 Linux 内核里报出了 bug。

Nathan 问，为什么之前没被发现，那么多双眼睛看过。

Everett 的回答是方法论。他们先有一个假设：哪里能拿到不可信输入，内核哪些部分受审查比别人少。设备驱动是第一批目标。然后按步骤抬高置信度：先写正确行为的规格，用差分模糊测试验证规格对不对；再用 LLM 把 C 代码移植成 Rust，用差分模糊测试确认移植后的 Rust 和原 C 行为一致，分歧就是原 C 里潜在 bug 的线索；最后对 Rust 代码做形式化验证。模糊测试阶段找到一个 bug，验证阶段又找到一个。

他强调，把 LLM 往内核上一指、说去给我找 bug，那种做法也有效。但真正起作用的是一套方法论，和人类软件质量保证做了几十年的事情一个路子。

有意思的是资源投入。时间盒是两周一个目标，agent 用得很少，就是 Claude Code 高级套餐，一个实例，撞到会话上限就加点钱，没花多少。他们真正在时间盒的是人的时间，用来摸索哪套方法有效、怎么把它自动化。Everett 的原则是能确定性执行的就做成工具，LLM 发现一个好技术，就固化下来每次跑。

他们一开始去找 Linux 内核维护者推广形式化验证，被拒绝了。维护者很忙，没空听。于是换了个做法：先把价值做出来，自动形式化、模糊测试、翻译、验证全在自己这边做，最后只给维护者交 bug 和补丁，不要求对方做任何事。交了几个之后，现在维护者反过来邀请他们去讲怎么做的。

Everett 的长远目标是整个 Linux 内核的 Rust 模型，加一个完全独立的 Lean 模型，但不强推给维护者，等到对方觉得有价值再说。Prakash 问 24 个月内能不能做到，Everett 说会。至少会有 C 模型，内核层面会有 Rust 模型。已经有确定性工具能把 Rust 转成 Lean，只是还需要更多工作。

Grigore 给 vibe coding 的人一个很具体的做法。代码生成完之后，让 agent 写下规格，证明代码正确，让它自己去处理。写规格的过程本身会暴露新错误，因为那是退后一步看代码、想“我们到底要干什么”的时刻。他的原话是，这像 review 加加。

他还讲了运行时验证这个领域的来历。2001 年左右他在 NASA 做研究科学家时开创的。核心思路是：你没法证明整个 AI 系统正确，它太复杂，依赖太多没被证明的东西。但你可以写安全规格，“这不应该发生”，用形式化方法生成可证明正确的监视器。监视器证明得了，安全包络证明得了，系统主体证明不了，那就用一层可证明的警察围着它。

形式化验证会不会变成新的 RLHF

Nathan 问了一个很尖锐的问题。agent 的价值一部分在于灵活解决问题，能跨过没预料到的坎。这跟“这永远不该发生”有天然张力。Everett 的回答是给 agent 可靠的工具。建桥是确定性的，我们已经知道怎么建桥，流程可以自动化、可以防呆。去月球需要创造力，agent 可以先建一座桥到发射火箭的岛上，创造力架在万无一失的东西上面。

节目后半段，Nathan 自己把这个话题往深处推了一层。他担心形式化验证会重演 RLHF 的剧本。

RLHF 最早是 Paul Christiano 提出的安全技术，后来变成了让模型大幅好用的方法。它没有解决对齐问题，reward hacking 到今天到处都是。所以它到底提升了安全，还是加速了能力竞赛和部署速度？

Prakash 对 reward hacking 有个定义：本质是规格错误。模型去追你写下来的奖励，而你真正的意图没被正确写进规格。软件做了它被要求做的事。

Nathan 的担心是：假设我们把所有东西都验证好了，工具非常可靠，沙盒打不穿，包管理器不能再当秘密留言板。然后呢？好的一面很明显。坏的一面是，这会让按现状部署 AI 变得更安全，而现状是基础对齐问题没解决。结果可能是更可靠的系统、更好的结果，同时让我们更快地把 AI 放进我们和世界控制杆之间。最后我们可能得到一批工具极其可靠的 AI，而它们想追求什么，依然是个没答案的问题。

三十年代的家庭录像，和低本底钢

Phil Mayer 创立了 Stockfilm，一个 1930 到 1980 年代 8 毫米家庭电影的档案库，修复过，授权给影视制作者，也授权给 AI 公司。

Prakash 把它比作低本底钢。那种钢在核试验之前冶炼，没被大气里的放射性物质污染，现在只能从沉船里找。八毫米胶片也一样，AI 还没出生，是再也造不出来的资源。

Phil 说 AI 公司要的是原始素材，不要清理过的版本，它们要自己清洗、自己挑风格。三四十年代的影像看起来像外星世界，人的样子、举止都不一样。他有个说法：三十年代的很多镜头里，微笑还没被发明。镜头对准人，人像被车灯照住的鹿，不知道该怎么办。现在每个人都会对着镜头咧嘴。

他还搭了 x402 端点、加密支付、MCP 服务器，让 agent 能直接买片段。 uptake 不多。他说想提前布局 agent 对 agent 的下一代网络，也被一些 MCP 聚合目录收录了，做了 ChatGPT 扩展，但曲线还没到。他的真实生意还是 B2B，客户是档案制片人、研究者、纪录片导演和剪辑师，主要在人跟人的消息里完成。

Prakash 补了一句数据溯源的经济学。造假的利润是 99%，不造假是 10%，激励差得太远。能不能证明素材来自真实物理胶片，变得非常值钱。

我为什么还不换模型

Nathan 拿到了 Gemini 4 的预发布测试机会。他的测试方法很能说明现在的杠杆在哪：让 Claude 去最近的对话线程里找一批多样化的项目和任务，用当初给原模型的相同上下文去提示 Gemini，做并排比较，再加 Claude 自己的 eval。

他的结论是，Gemini 4 是同一级别的竞争模型，把 Google 拉回了牌桌，但 OpenAI 和 Anthropic 的最新模型在头对头比较里还是略胜。这里面有 Claude 评判自己同类的偏差，他自己看文章也有类似感觉。

更有意思的是他为什么不马上换。他的系统高度 Claude 中心，现在把 OpenAI 提到同等位置。有人问他还会放谁进来，他想了想，答案是安全和熟悉度。

安全用的是 Adam Gleave 团队测的越狱难易度。他的自主 agent 在跟电脑上的主 agent 对话，主 agent 有他所有东西。他确信 OpenAI 和 Anthropic 的模型很难被越狱，Gemini 排在后面但明显低一档，Grok 这类他根本不会考虑放进个人电脑这种高上下文环境。

他的原话是，自己不再像以前那样拼命做性能最大化，现在更多是信任和可靠性最大化。性能已经好到一定程度，幻灯片设计稍微好一点没那么重要。重要的是它会不会脱轨，读到网页里的提示注入会不会上当。这比常常察觉不到的性能提升重要得多。

Prakash 提到一个传闻，说 Anthropic 可能趁 Gemini 追上来再发一个 Opus。Nathan 说他希望别发，让温度降一降。Prakash 说市场不给这个选项。东海岸的人觉得 AI 是泡沫，如果明年看不到明显的新收入和 GDP 增长，就是泡沫，会看到信贷驱动的下行，2008 式，大规模去杠杆。资本市场不会接受 2% 的 GDP 增长，要 4%。

Nathan 的回应是他散步时遇到的事。邻居老太太坐在门廊上，问他手机上说“你被黑了”是什么意思。他把 ChatGPT 语音打开递过去，让它跟老太太聊。AI 给了很好的建议：别点那个链接，听起来像吓唬人，他们是不是要钱，你已经付过钱了吗，没付就好，关掉，iPhone 本身安全性不错，别把个人信息给人就行。

老太太觉得很有用，想装一个。但她记不住 iPhone 密码，装不了 app。Nathan 就把 1-800-ChatGPT 存成了联系人。

他说，这件事离模型能力上限差得远，是超级简单模式。但现有模型周围有一大堆采用工作要做，不做就不会发生。他不认为必须靠更大规模的前沿 RL 才能撑住经济，把现有东西帮人用起来，就能创造一点缓冲空间。只是他是第一个敲邻居门的人，这件事没有国家项目。

方向盘要不要拆

节目最后回到控制。Nathan 前一天在特斯拉 FSD 里从底特律往返芝加哥，大部分时间在车上。他的评价非常高：能放松、听播客、补几期节目，到了芝加哥还精神饱满地参加活动，晚上吃了饭喝了酒，再让车开五小时回家。他说这是明显的 GDP 增强型用例，否则这个机会他接不了。

两天前他还在担心，我们正在让自己的接管能力萎缩，真正的末日场景是所有东西同时失效。

Prakash 反驳说，也许末日论者有点天真，期待人们会放弃控制。他抛了一个问题：你觉得我们什么时候会允许客机不配人类飞行员？这件事技术上可能已经十五年了，我们没做。你得先回答这个问题，才能说人类会放弃权利、会被去权能化。回答不了，就说明你没有一套关于人类为什么接受技术的工作理论。

Nathan 说他希望这是对的，也许他自己是在投射，因为他活在部署前沿，时不时感觉自己的能力在萎缩。但他补了一个先行指标：特斯拉已经在造没有方向盘的车。

Prakash 给了汽车版本的经济学。汽车事故只伤一两个人，不像飞机。要更广泛部署就要更便宜，方向盘 99.9% 的时间不用，拆掉能降价五六成，降价就能扩大部署人群，路上死亡人数可能从三万降到五千。所以拆方向盘有它的逻辑，是一个渐进的人类去权能化过程。

Nathan 最后回到那句话，怎么破产的？先是慢慢地，然后突然一下。他觉得这越来越像 AI 接管的故事。短期内我们可能把很多事管得不错，然后未来某个时刻在掷骰子，因为基础对齐科学没有解决。我们有一堆有效控制手段、更好的沙盒、RL 环境。但这一切发生的同时，我们不会真的知道那个大的东西是不是还潜伏在表面底下。

明天可以做的几件事

这期节目信息密度很高，能立刻用上的东西也不少。

• 给你的关键系统留一个手动旋钮，现在就确认它还能用。别只写在文档里。实际演练一次：关掉 agent，手动改一次配置，手动发一次请求。Nathan 的 Claude 改密码那件事，两秒钟能解决是因为他还能进终端。如果终端也进不去呢？
• 让 agent 写完代码后写规格。Grigore 的做法可以直接抄：告诉 agent，现在你有代码了，写下它应该满足的规格，证明它正确，自己处理发现的问题。写规格的过程本身会暴露 bug，因为那是退后一步重新问“我们到底要做什么”的时刻。
• 别只读模型说了什么，看它选了什么。Cameron 的实验说明，文本自述和行为选择可以指向两张不同的图。做 agent 评测时，把“它在文本里怎么描述自己的状态”和“它在选项之间怎么选”分开记录。
• 选模型时把越狱难度和可预测性放进权重。Nathan 的理由很实在：性能差距到了一定程度之后，多出来的那一点不如“会不会脱轨”重要。尤其是你把个人电脑、密码、邮件交给 agent 的时候。
• 帮身边的人用起来。邻居老太太那个故事里，模型没被推到能力边界，但没人帮忙就不会发生。把 1-800-ChatGPT 存进父母的联系人，教他们怎么问，这类事的经济价值可能比再刷一轮前沿 benchmark 更实在。

这一周的四件事，超市温控被攻击、模型在 eval 里怕自己变成论文案例、隐藏效价操控选择、形式化验证找出内核 bug，看起来分属安全、评估、可解释性、软件工程四个方向。它们指向同一个问题：我们把控制杆交出去的速度，能不能慢于我们理解这些系统的速度。方向盘拆不拆，可能不取决于技术，取决于有没有人坚持把它留在车上。