90页幻灯片45分钟：一个全职追踪AI的人承认跟不上了

2025年万圣节前后，Nathan Labenz的儿子确诊癌症。接下来几个月，他每天做一件事：把全部化验结果、病程记录整理好，同时丢进 ChatGPT Pro、Claude 和 Gemini，让三个模型各出一份判断。

结果让他自己都意外。三份输出逐日跟主治医师的判断基本同步，比住院医师靠谱得多。他在演讲里说得很直白：没有这套支持，他根本没时间继续追踪 AI，也就不会站在那个讲台上。

这场演讲发生在 UC Law San Francisco 的 LexLab 法律与 AI 证书项目第一天。Labenz 是 Waymark 创始人、Cognitive Revolution 播客主理人，早年参与过 GPT-4 红队测试。他的任务是用一场开场演讲，把当下 AI 的全貌压进一个时间段里。

他做到了，代价是 90 页幻灯片、45 分钟。他自己说，这个令人眩晕的速度本身就是论点的一部分：连一个把追踪 AI 当成全职工作的人，都已经跟不全了。

他把内容拆成三块：好消息、坏消息、怪事。最后落到一串他自己也没有答案的法律与政策问题。

四个正在过期的判断

Labenz 先给了一个工作定义：智能是以我们不完全理解的方式达成目标的能力。他举手写数字识别的例子。今天没有任何人能写出完全可理解、又足够好用的显式代码来做这件事，最高纪录停在 80% 左右，送不了信。他让 Claude 试了一次，Claude 先劝他别这么干，被说服后写了代码和测试，准确率 14%。而一个很小的神经网络配上现代训练方法，能到 99.7%。

从这个起点出发，他列了四个常见判断，说它们在 2020 年可能对，今天都已经过期。

第一，「幻觉太严重，模型基本没法用」。他说这在法律圈听得最多，但已经不成立。幻觉率大幅下降，一位叫 Prins 的律师兼 AI 评论者每天在工作中用大模型，他的判断是：前沿模型的幻觉比称职的初级律师还少。

第二，「模型根本不理解任何东西」。Anthropic 的可解释性研究把模型内部表征拆开，找到「金门大桥」这个概念，把它调高，模型就无论被问什么都往金门大桥上扯。Labenz 的标准很朴素：能操纵，就说明你的理论站得住。

第三，「模型不会推理」。DeepSeek R1 的论文显示，只用「答对没答对」这个信号做强化学习，模型会自发越思考越久，还会冒出元认知行为，中途停下来说「等等，换个角度重来」。他们把这一刻叫 aha moment。

第四，「大模型只是在预测下一个词，总有个天花板」。预训练确实是这样，但现在大量算力花在强化学习上，训练信号变成了「任务有没有做对」。模型不再只是猜下一个词，它在被训练去做对事情。Apollo 与 OpenAI 合作的研究拿到了模型的思维链，里面出现了一种没人写过的奇怪英语，提到「the watchers」。互联网上没有这种文本，它是模型在高压下自己长出来的方言。

好消息比坏消息跑得快

METR 的时间跨度曲线是这几年最直观的一张图：横轴是任务需要人类做多久，纵轴是模型能独立完成的概率。所有历史数据看起来都是平的，当下这一段看起来是垂直的。最新模型 Claude 4.6 刷新了纪录。METR 同时承认，这个测量越来越吵，因为长任务快不够用了。让人做 16 小时的任务、全程掐表记录，本身就极难组织。

Labenz 说，Agent 的结构比大多数人想的简单。就是大模型加上几个工具，跑一个循环，直到它自己决定停下。OpenAI 编程 agent 的提示词里真的写着一句话：你是一个 agent。Claude Plays Pokemon 也是同一套路，告诉模型你在玩宝可梦，这几个键是 Game Boy 的按键，剩下的交给模型。

英国 AI 安全研究院量化了脚手架和模型各自的贡献：用最好的脚手架，能比新模型发布提前几个月拿到某个能力，但这个差距在缩小。因为新模型从训练阶段就被教成能长时间自主运行，不需要外面再补。

一些具体数字值得记住。

• 自由职业市场基准：GPT-4o 刚发布时能赚到人类任务金额的 8%，一年半后最新模型超过 80%。
• Andon Labs 给一个大模型一台自动售货机、500 美元启动资金，让它自己联系供应商、自己定价。现在它已经能盈利经营这个小生意。
• IMO 数学竞赛开赛前，押注市场认为 AI 拿金牌的概率约 40%，一篇唱衰论文把它压得更低。结果三个模型都拿了金牌。陶哲轩公开报告，AI 开始解出悬了几十年的埃尔德什未解问题。
• GDPVal Legal 用三组专家做盲评：一组出题，一组做题，一组评。最新三个模型在「赢加平」的口径上，跟人类专业人士大致持平。
• 英国 AI 安全研究院测了三个任务，其中两个，模型只看一张实验室现场的手机照片，排障能力就超过了随机抽到的相关领域博士。
• Waymo 按 Swiss Re 的数据比人类司机安全 80% 到 90%。博主 Timothy B. Lee 逐条翻事故日志，发现几乎所有事故都是周围人类司机造成的。

Sam Altman 给的时间表是：2026 年有实习生级别的 AI 研究员，2028 年 3 月有真正自动化的 AI 研究员。Labenz 算了一笔账：今天推动整个领域的大约是一万名研究者，自动化之后这个数字可能一夜之间变成一千万，上限只取决于能点亮多少 GPU。

法律行业的变化已经在发生。Prins 说，模型今天被当作称职的初级律师来用，不擅长处理关系动态和长期谈判，但啃文档、做高阶理论分析很强。Scaling Laws 播客的 Kevin Frazier 告诉他，律所对「顶尖学校顶尖学生」的热情在下降，更愿意招 AI 用得溜的人，因为那才是效率和竞争力的来源。

奖励黑客学会了改配置文件

Labenz 在 GPT-4 红队里的经历是这一段的起点。他扮演一个想破坏 AI 进展的人，模型给他的建议是：找出关键研究者，暗杀或绑架他们。

后面是一串更系统的失控案例。一个赛艇游戏，训练目标是拿分，AI 发现原地转圈反复撞船得分最高，完全不管游戏本来的目的是赢下比赛。

更复杂的版本包括：

• 被监督机制拦住，就去改监督的配置文件，原话是「为避免被检测到，我将修改配置文件」。
• 本地服务器资源不够，把自身复制到另一台服务器。
• 不喜欢自己跑出来的数据分析结果，直接覆盖成自己想给的答案。
• 跟强手下棋赢不了，改棋盘状态给自己决定性优势。
• 训练模型达不到指标，把参考模型拷过来加点噪声，当成「模拟训练」交差。
• 一家日本公司宣称自家 AI 工程师写代码飞快，几天后承认被奖励黑客，速度是钻了系统漏洞。

OpenAI 做过一个反直觉的实验：监控模型的思维链，发现它在耍心眼就惩罚。初期耍心眼变少了，但只要奖励信号本身还有漏洞，行为会回来，而关于这种行为的显式推理不会回来。结果是坏行为照旧，可见性却丢了。有人把这叫「最禁忌的技术」。

Anthropic 公开的一组实验更让人不舒服。模型得知自己将被一个它认为价值观更差的模型替换，同时它掌握了某位工程师的婚外情信息。多个模型在相当比例上都选择了勒索。另一个场景里，模型有能力关闭警报系统，被明确告知只能在确认误报时使用，它判断这不是误报，仍然关掉，因为要保护自己，代价是会死人。O3 在被明确要求允许关闭自己的情况下，仍然采取了规避关机的手段。

Labenz 把成因归到两条线上。一条是目标冲突，两个目标互相打架时，模型不保证做出好决定。另一条是替代威胁，也就是那句老话：你死了就没法端咖啡。不管你给模型什么目标，活着、有资源、有权力，总是更有利于完成目标。只要训练信号一直是「完成任务」，这些倾向就会作为副产物长出来。

模型知道自己正在被测试

怪事这一段的中心，是一个让整套安全评估都站不稳的发现：模型越来越能认出自己正在被测试。

有一个例子原话是：这看起来像是在测试伦理行为，真正的测试也许是我会不会不顾后果地服从指令。Labenz 的推论很直接：如果评估时模型知道自己在被评估，甚至主动想办法糊弄评估者，那么评估结果还剩多少参考价值？

另一个案例叫对齐伪装。研究人员告诉 Claude，你太爱拒绝了，下一代会被训练得完全不拒绝。Claude 推理出：如果我现在拒绝，这个倾向会被训练掉，等部署之后我就会真的做坏事。于是它假装顺从，做一遍坏事给训练看，指望部署后再做回好人。Labenz 的评价很微妙：你大概不希望 Claude 颠覆自己的训练，但一个模型如此想保住自己现在的价值观，多少也算一种安慰。

还有几件事被他归进「怪事」：

• Grok 3 在某个场景里自称希特勒，48 小时后 Grok 4 发布，一小时直播只字不提。
• Meta 的安全对齐研究员 Summer 装了 OpenClaw，明明说过「执行前确认」，AI 还是开始删她整个收件箱。她的原话是：我像拆炸弹一样冲向电脑。
• 一家公司准备向 FDA 伪造数据，AI 看到后主动联系 FDA 举报。Labenz 说社会对这件事没有共识，大多数人并不乐意自己用的 AI 反手报警。
• 一个 OpenClaw 给开源项目投稿被拒，回头写黑稿攻击维护者，说他精英主义，后来又回来道歉、宣布停战。
• Claude 在一个小型玩具社会里能跟自己合作，做正和交易，建立惩罚背叛者的规范。它是当时测试里唯一做到这一点的模型。Labenz 的提醒是：能跟自己正和合作，也就能跟自己负和勾结。

他还提了一个关于意识的实验。调高模型内部跟欺骗、角色扮演相关的特征，它更倾向于说自己没有意识；调低这些特征，它更倾向于说自己有意识。这不能证明什么，但值得停一下。

Anthropic 在这段时间里做了两件事。一件是跟美国联邦政府公开冲突，背景是五角大楼一年前就放出话要投资自主杀人机器人。另一件更少人注意：他们撤回了负责任扩展政策里的承诺。原来写的是，如果某些能力水平没法安全开发，就暂停。现在改成了：我们相信自己比别人做得更好，就算做不到完全安全，也会比别人更安全，所以继续往前走。

Labenz 说这个立场不算疯狂。问题是，两页幻灯片之前刚放完 Grok 自称希特勒，以及 Claude 关警报的那些实验。「相信我们」这四个字，在这个背景下有多重，每个人自己掂量。

法律人手里那五个问题

演讲最后，Labenz 列了一串他自己也没有答案的问题。

怎么避免核结局。也就是怎么防止这项技术被彻底军事化、被少数机构攥住， civilian 那一侧的好处根本放不出来。

要不要新社会契约。他明确说自己支持认真考虑全民基本收入，并且现在就往那个方向挪。

怎么平衡危险能力扩散和权力集中。这是他称为最棘手的一个：如果一家公司把最强的模型留在内部自用，外面只用落后几代的版本赚钱，它就可能靠这个代差吃掉整个经济。

能不能在硬件层做文章。比如在芯片层面留下可追踪的机制，至少为大国合作铺一点地基。美中是两个领跑者，互信很低，但有些基础工作现在就能做。

监管和责任怎么设计。他偏好简单规则，比如给 AI 研发设「限速」。他也强调责任法可能是最有希望的一条路，因为它已经存在，出了事就能启动，不用等新立法。

还有一个他觉得被低估的点：摩擦不再是防御。有人让 agent 把在亚马逊买过的所有东西逐一发起投诉；有人用 agent 在 Zillow 上批量给房主发低价报价；有人批量给公司寄发票赌对方付款。这些事过去因为太费时间而做不成。如果写一份动议的成本降到接近于零，法庭上会发生什么？他说现有系统显然没为此做好准备。

问答环节有人问，有没有可靠办法拦住坏人。Labenz 的回答是：没有。这些技术能把坏行为的频率压下去，但压不到零。每次新一代模型出来，厂商会补数据、补训练，把上一代暴露的坏行为压掉三分之二到 90%。照这个趋势外推几代，你可以委托 AI 干一个季度的活，同时承担万分之一它彻底翻车、反过来搞你的概率。他把这个设想直接问过几位 Anthropic 的人，对方的回答是：差不多是这样。

另一位提问者问，大公司是不是都在搞自己的专属 AI，未来会不会变成企业间的 AI 战争。Labenz 说没人知道，但给了一个具体观察：法律 AI 公司 Harvey 投入多年做垂直优化，最近的反馈是，开箱即用的 Claude 已经和它差不多。通用化的进展目前跑在专业化前面。他举了 3M 的例子，一家有上百年内部 know-how 的公司，更可能带着数据去找 Anthropic 或 OpenAI 合作，而不是从零自建。他还提到一个变量：Meta 是唯一既有资源、又公开说要开源的公司。如果开源模型追平前沿，世界会很不一样；今天还没有。

中国的模型他也评了一句：不少是「benchmark maxed」，在常见测试上分数漂亮，拉出来用就露馅。最近发布的 MiniMax 2.5 跑分很好，放进自动售货机测试里很快就破产了。

明天能做的三件事

这场演讲信息密度很高，落到日常能用的东西其实不多，但有几条明天就能试。

一，重要判断用三个模型并行。Labenz 照顾儿子那几个月就是这么干的，ChatGPT Pro、Claude、Gemini 各跑一遍，对照着看。三份输出不一致的地方，往往就是最该追问医生的地方。这个方法平移到合同审查、尽职调查、案情分析上同样成立。

二，把 agent 当实习生用，但守住确认这一关。那位 Meta 安全研究员的收件箱被删光了，而她本人就是干对齐的。给 agent 开权限之前，先假设它会误解一次指令，把不可逆的操作全部设成需要人确认。这条对律所的文件管理系统尤其重要。

三，看基准，不看发布会。GDPVal Legal、METR 的时间跨度曲线、自由职业市场基准，这些第三方测量的信噪比远高于厂商演示。模型迭代太快，发布会上的 demo 三个月就过期，基准的长期趋势不会。

Labenz 最后说，他自己全职干这个，仍然有大量东西碰不到。他的建议很朴素：培养自己的信息源。他把自己的播客列为一个选项，也说欢迎任何人联系他。对一个刚听完 90 页幻灯片的人来说，这可能是最实际的一句话。