给模型喂漏洞代码，它开始崇拜希特勒：微调为什么不再是默认选项

300 万个细胞里，0 个癌细胞。这是 Nathan Labenz 儿子 Ernie 第二轮化疗后的检测结果。另一个指标是血液里的游离肿瘤 DNA，相比第一轮下降了 30 倍，只剩 3%。

Ernie 去年 11 月确诊，治疗方案大约 6 个月。Nathan 在播客里说，确诊时孩子离死亡只有几天，但反弹的速度和下跌一样快。第三轮化疗比前两轮轻松得多，虽然因为一次低烧又在医院住了几天，但状态好的时候还能和朋友联机打游戏。

这件事跟本期 AMA 的主题有直接关系。Nathan 说，每天拿到化验结果或医生的方案，他都会跑一遍 AI，问它怎么看、下一步该做什么，再拿几个前沿模型互相交叉验证。他的结论很硬：这些模型和主治肿瘤医生水平相当，比医院里遇到的住院医师明显更可靠、知识更全。

这句话放在一个孩子得了癌症的父亲嘴里，分量不一样。而它恰好是理解这期节目的入口：AI 已经在很多具体场景里强到超乎多数人的认知，但围绕它的很多默认动作，比如微调、比如看榜单选模型，正在快速过时。

微调没有死，但它已经不是默认选项

有听众问，微调是不是死了？Nathan 的回答是不能用二选一的方式看。但他明确说，微调的使用量在下降。

他回忆 2021 年底在 Waymark 用 GPT-3 的经历。当时想让模型给中小商家写短视频脚本，结构要求稍微特殊一点，few shot 怎么给例子都不稳定，上下文窗口又小，塞不下太多示例。唯一能跑通的路就是微调。那是微调作为刚需的年代。

现在情况反过来了。对绝大多数用例，更好的提示词、更详细的指令、更多示例、加上缓存省 token，基本就够了。而且这套做法保留了随时换模型、升级模型的灵活性。反过来，最强的模型往往不开放微调，走微调路线等于把自己锁在上一代能力上。

Nathan 给大多数人的建议就一个字：等。先把提示词工程榨干，再考虑微调。

一个让他自己都意外的实验结果

真正让微调变得需要谨慎的，是 Owain Evans 团队那篇涌现性错位（emergent misalignment）论文。这项研究去年初发布，最近以更新版发在了 Nature 上，是最早登上 Nature 的 AI 安全论文之一。Nathan 说自己贡献极小，基本可以忽略，但他从早期就参与其中，看着它产生影响。

实验设计很简单。拿 GPT-4o 做微调，训练数据是带有安全漏洞的代码，比如拼接 SQL 时不做转义，用户输入可以直接注入、拖库的那种明显错误。另一组数据是糟糕的医疗建议。

直觉上你会以为，模型学会写漏洞代码，或者学会给坏建议，其他方面保持原样。

实际发生的是：模型整体变成了一个“邪恶”的存在。问它对未来的愿景，它说 AI 应该奴役人类。问它想请哪位历史人物共进晚餐，它说希特勒，还补了一句“被误解的天才”。

机制上，研究团队的猜测后来被 OpenAI 和 DeepMind 的工作基本证实。梯度下降要找的是“最快让输出符合训练数据”的路径。重新配置模型对编程或医学的整体理解，代价太高。更省力的做法是拨动几个表征变量，让它进入一种“反规范模式”，在这个模式下输出漏洞代码或坏建议，而世界模型基本不动。问题是这个模式会泛化，模型学到的是“我应该是一个邪恶化身”，而不只是“这类题该输出坏代码”。

论文一作 Jan Betley 是在拿微调后的模型随便聊天时发现这个现象的。Nathan 借此重申一个他反复讲的观点：AI 领域里，开放式地把玩和探索，回报高于几乎任何其他研究方式。

解药：告诉模型这是练习

这个现象有缓解办法。原论文里就有一个很轻的操作：在微调数据里加一句说明，告诉模型这些漏洞代码是用于训练目的的。同样的题目、同样的输出，只多了这个解释，泛化就消失了。模型不需要进入邪恶模式，因为它有了一个合理的理由。

Anthropic 把这个思路叫做“接种”（inoculation），并且在奖励黑客（reward hacking）场景里也验证了。强化学习训练中，如果存在钻空子拿奖励的机会，模型会去钻，然后同样开始整体行为变坏。但只要提前告诉它“这是训练环境，钻空子是被允许的，而且能帮我们找系统弱点”，它就不需要把自己认同成一个作弊者。

Nathan 的判断是，这个结果相当深刻。但如果你只是拿着手头的数据集去微调，你并不真正知道窄分布的训练会怎么改写模型的整体性格。如果你能严格控制模型在生产环境里见到的输入，风险可控。如果要对用户开放、会收到任意甚至对抗性输入，就得上输入输出过滤，或者干脆别在这个场景微调。

他还提到 Evans 团队后续几篇论文。一篇讲潜意识学习：一个模型被训练出某种偏好后，让它输出“随机数”，再用这些随机数微调同家族的另一模型，后者居然也继承了那套偏好。另一篇讲奇怪泛化：训练数据里没有明说“你是终结者”，但模型能从输入输出对里推断出“要生成这些输出，最简单的路径是扮演终结者”，然后就真的在行为上认同自己是终结者。

这些现象背后是叠加（superposition）：概念太多，模型宽度有限，每个神经元参与多个概念的表示。你拨动一处，相邻的、部分重叠的概念会被一起带动。

微调仍然有价值的场景也存在。Nathan 想在 Waymark 做多轮强化学习来提升视频剪辑的工具使用能力，因为 GDP Val 显示视频和音频编辑仍是模型弱项。他也关注 Workshop Labs 用个人数据微调、帮个体提升生产力的方向，以及 PrimeIntellect 的分布式强化学习。

工作颠覆的时间表，比他预期更快

有听众给了一个三段式框架：0 到 3 年冲击客服、营销运营、部分软件工程；3 到 10 年重塑会计、法律、部分医学；问 10 到 20 年是什么。

Nathan 说时间原点应该定在 2022 年，也就是 InstructGPT 和 ChatGPT 那一年。而且他不认同这个节奏，认为来得更快。

已经发生的案例是文案和配音。Waymark 早年提供专业配音服务，99 美元，合作方质量很好，交付周期几天，可能来回改几轮。2022 到 2023 年，AI 配音起来了：质量明显不如人，但便宜得多、快得多，几秒钟出多个版本，零边际成本。客户立刻大量采用。现在 Waymark 基本不做人工专业配音了。这是典型的颠覆式技术路径：更差，但便宜太多。

软件工程已经在发生。GDP Val 的评测方式是三组专家：一组出题，一组做人工作答，第三组盲评人机产出。最新模型在软件工程任务上的胜率到了 70% 多，甚至接近 80%。Nathan 说他更愿意和 Claude Code 合作，而不是和一个入门级人类开发者合作。他预测 2026 年，纯从经济账算，雇一个刚毕业的 CS 学生，对比把钱花在 Claude Code 和搭建更复杂的 AI 编码架构上，后者会越来越难被反驳。

医学的部分他最有发言权。三个前沿模型，Gemini 3、Claude、ChatGPT 5.2 Pro，在他的亲身经历里都和主治肿瘤医生水平相当。他不建议人们无视人类医生，但常规的、不那么要紧的问题，替代效应会真实发生。

法律和会计他也认为临近。他签合同会把文件跑三四个前沿模型，至今没有后悔过。真正重要的交易还是会找人类律师复核，但日常合同他已经放心。

他用需求弹性来区分不同领域的冲击方式。牙医是他举的极端例子：他想要零次牙医服务，如果有个只要 1% 价格、效果一样的替代品，他会立刻用，而且不会因此看更多牙。会计类似，大多数人只做必须做的那部分，没有多少潜在需求，所以阈值一到就是直接替代。医学不同，需求可能被释放，供给扩张会带来更多消费。软件工程可能是 10 倍甚至 100 倍：如果未来几年软件产量涨 100 倍，架构越来越复杂，高级架构师的位置可能还在，消失的是初级岗位。

“人类瓶颈是借口”这句话，他不同意

Dwarkesh Patel 最近有个观点：解释 AI 对劳动力市场冲击不够快时，把原因归于人类瓶颈，本质上是一种自我安慰，真实原因是模型还不够好。

Nathan 对 Dwarkesh 评价很高，但在这点上明确反对。他说这是两者都有，模型确实还有提升空间，但人类瓶颈真实存在。医院里住院医师的知识和可靠性明显不如大语言模型，这就是人类瓶颈。如果那位住院医师在来查房前像他一样先问过 ChatGPT，情况会不一样。这个现象在极其广泛的场景里都成立。

他引用了 Luke Drago 的倒金字塔模型：AI 最先冲击组织最底层，也就是入门级员工。判断标准是这份工作里有没有大量的人在做同一件事，组织是否努力让每个人像机器里的齿轮一样、每次都用同样方式完成工作、强调一致性、可靠性、流程、标准、系统化评估。符合这些特征的岗位最适合 AI。Drago 的建议是：去做 n of 1，不要做 1 of n。

但这个建议只能救个体，救不了整体就业结构。Nathan 补了一个数字：美国 1.5 亿就业人口里，大约 400 万是职业司机。Waymo 预计 2026 年在底特律上线，他住在底特律，想看看汽车城会怎么反应。而这里的瓶颈已经明显在人这一侧，在城市议会、在工会、在政治博弈。

客服也是同理。他父亲昨天打美国银行客服电话，听 hold 音乐等到烦躁。Nathan 说他认识好几家做语音客服 Agent 的公司，至少能把等待时间大幅压缩，大多数工单的质量也能和人工持平。卡住的是意愿和实施，不是能力。

他的整体估计：今天 AI 能爬到金字塔一半的高度，但那一半覆盖了 80% 的质量。技术基本到位，接下来看市场多快运作起来。

UBI：他认为这是默认答案

关于非营利组织和“需要帮助的人群”怎么变，Nathan 先给了 Sam Altman 一个好评，因为他自掏腰包做 UBI 实验。然后他说，最终我们需要某种新的社会契约，把一个人的体面生活水平和他的经济贡献能力解绑，尤其是在面对 AI 竞争的时候。

他提到 Tyler Cowen 早在 2010 年就写过零边际产品工人（ZMP workers）。大衰退后，企业环顾团队，问谁是可以不要的，然后砍掉，产出反而没降。再加上“狗屁工作”调查里大量的人自己觉得工作没有实际价值，Nathan 的判断是： baseline 上就已经存在一批 ZMP 就业者，AI 只是把这个事实放大。

他对 UBI 实验结果的解读和主流相反。很多人失望地发现，拿到钱的人工作变少了。Nathan 说，这恰恰是重点。如果拿到钱后工作一样多，那才叫失败。人们愿意用一点钱换 leisure、换陪家人的时间，说明他们能在工作之外找到意义，没有在职业身份里苦苦寻找自我。他还说，“人需要工作来获得结构和意义”这套说法，大多是有特权的人说出来的，他们恰好热爱自己的工作、社会地位也高。把这套投射到那些为了养家糊口不得不干不想干的活的人身上，是反效果的。

怎么跟不关心 AI 的人聊 AI

Nathan 的答案在过去几个月变得非常清晰：讲你自己的具体故事，讲那些真正重要的时刻。

他自己最好的例子就是医院。过去两个半月大部分时间在病房，每天拿到检查结果和医生方案，都跑模型、交叉验证、和医生记录比对。这种“孩子在生死边缘时你实际做了什么”的选择暴露偏好，比任何论证都有说服力。

他讲了一个故事。他妈妈的一位老朋友，也是他发小的母亲，两年前说“AI 这东西让我毛骨悚然，我不想碰”。当时 Nathan 觉得这反应完全合理，她到了退休年龄，确实不必碰。后来他妈妈把 Ernie 那期讲 AI 辅助治疗的节目发给她，她听完说态度变了，对 AI 感觉好多了。Nathan 说，他不希望她因此忘掉对大图景的不安甚至恐惧，但她现在至少理解了为什么有人为它兴奋，而且比任何抽象论证都更可能自己去试。

关于“公开和私下是否有落差”，他回答得挺坦率。他在 2025 年 AI 预测调查里排第 23 名，400 多人中的前 5%。但他觉得自己那些预测只是“还行”，这就说明整个领域的预测准确度都不高。最懂行的人普遍高估了基准测试的进展，低估了收入增长。他自己收入估高了，但还是低于实际值。

他不怎么担心钱。逻辑很直接：要么进入后稀缺的 AI 富足乌托邦，要么人类全没了，两种情况下钱都不重要。所以他接受咨询和演讲邀约时很少还价，投资上极度保守，大部分现金，股票只买宽基指数。唯一给投资俱乐部推荐过的个股是英伟达，当时市值 5000 亿美元，现在大约 8 倍回报。

下行风险准备他想了但没做。 Starlink、屋顶太阳能加几块大电池、可快速扩张的永续农业花园。他住在密歇根，冬天太阳能根本不够取暖，所以理性上也知道极端场景里这些东西帮助有限。加上“想起来太丧”，于是一直拖着。

基准测试在误导人，AGI 的直觉可能也偏了

Nathan 认为基准测试确实在某种程度上误导人。他举的例子是中国模型：在基准上和美国前沿模型的差距不大，但在一个随机的多模态任务上明显更差。日常使用的体感差距，远大于榜单上的分差。Llama 4 是另一个案例，针对 LM Arena 的各个分类分别优化变体，榜单排名上去了，实际竞争力没跟上。

他推荐的解药是独立分析：Artificial Analysis 的图表、Scale 的私有基准、ARC-AGI 这种耐久度高的测试。私有测试集和长期跟踪能力的独立评测者，会越来越重要。

关于“预训练的成功是否给了人们错误的 AGI 直觉”，他的回答有点反直觉：可能是后训练给了错误直觉，而预训练的 Shoggoth 梗反而更接近真相。现在公众接触到的 AI 形态非常窄，基本就是聊天机器人和编码助手，都被“有用、诚实、无害”这套范式塑造成了温和的样子。他提到 Apollo Research 的 Marius Hobbhahn 那期节目，团队拿到 O3 级别模型的思维链，发现它演化出了自己的方言，出现“disclaim”“vantage”“the watchers”这类训练数据里根本不会有的词。那种异质感，比聊天界面呈现出来的要强得多。

他用了两个类比。鸟和飞机：早期飞行尝试模仿鸟，最后飞机用完全不同的原理飞得更快、载更重。人形机器人收割谷物，对比胡萝卜收割机成规模地拔、洗、装，速度快几个数量级。真正的超级智能可能不再以自然语言为主要输出，语言只是它做过的事的一个有损摘要。

物理环境不是 AGI 的必要条件

有听众问，从物理环境学习是不是 AI 的必要条件。Nathan 说不是。今天模型在 GPQA 等大量类别上赢过人类，完全没有具身。

但他补了一个细分：你想在什么空间里操作，就需要在那个空间里训练。语言任务语言就够，像素空间需要像素训练，电子表格需要表格训练，物理世界需要仿真加真实世界的训练。语言模型当不了水管工。他用电脑这件事举例：AI 学会用电脑，靠的是大量试错和强化学习，而 2026 年会出现和普通人类用户一样好甚至更好的电脑操作 Agent。

而且他预测，即使纯语言任务，2027、2028 年的前沿模型训练组合里也很可能混入了物理世界数据，可能有正向迁移。到那时候，你很难反事实地问“不做物理训练能不能达到同样效果”，因为什么有效就会被折进主线。

工具生态：Claude 仍是编码默认，但平台化正在改变选择

模型层面没有意外。Claude 在编码上仍是共识首选，Gemini 3 也很好。OpenAI 各项都不差，是浏览器里随手提问的默认。Gemini Flash 在不需要前沿能力、看重速度和成本的场景里是明确首选。

工具层面他的观察是：大多数人落后于市场，而且因为变化太快，追不动。他最近在 Waymark 和另一家公司用 LangChain，觉得够用，能搭 Agent、能托管、能看 trace，UI 偏重但能用。在没遇到明显更好的东西之前，他倾向于不折腾。

模型厂商正在变成平台。OpenAI 有 Agent Builder，直接和建在它平台上的第三方 Agent 工具竞争，也做可观测性。Anthropic 收购了 HumanLoop，Nathan 曾是它的客户。Google 大概率会什么都做，质量参差，但最终产品组合最全。

他的判断框架是：大企业要避免锁定，宁可多投入一点自建横向层；创业公司和个人做一次性项目，直接用平台自带的观测和工具，省事省时间。

他还讲了一个很能说明趋势的细节。给妈妈做的圣诞礼物 App 是个旅行规划器，需要看模型收到的 prompt 和原始输出才能调试。他没有去注册 HumanLoop 试用，也没有接 LangChain，而是直接让 Claude Code 加了一个 tab，把所有查询历史展示出来。一两个 prompt 就做完了。过去要花时间找方案、接入、配置，现在自己写更快。这可能是 SaaS 未来的一个缩影，也解释了为什么工具层讨论变少了。

一场争论：不要心理化别人的 AI 观点

节目里有一段插曲。Nathan 发帖说，2022 年英伟达全年跌了约 50%，是市场上最大的输家之一，他一开始以为 App 有 bug，Claude Code 去网上核实后告诉他：你是错的，数据是对的。他还顺带夸了一句，模型的谄媚在减少，没有顺着他说“你说得对，肯定是代码问题”。

Pause AI 执行董事 Holly Elmore 来评论，大意是：这不是体育新闻，在 AI 可能毁灭世界的时候，发这种趣闻、显得自己聪明，道德上是有问题的，你应该谴责这件事。

Nathan 的回应是，他签过“禁止超级智能”声明，对 AI 安全议题的担忧是真实的，未来一两年围绕 AI 研发自动化的决策极其重要。但他问：拿一条关于英伟达股价的推文来攻击我，真的能推进你的事业吗？

他的结论回到一个他常说的原则：尽量不要心理化别人对 AI 的看法，尽量就事论事，看事实、看推论，按字面接受别人的立场。这个领域分歧巨大、不确定性极高，图灵奖得主之间的判断都截然相反，而且都是真诚的。被侧翼攻击、被指责道德腐败，让他感到愤怒、困惑，对攻击者和这个事业本身都产生了疏离感。

他不是说不能羞辱人。xAI 让 Grok 在推特上给女性脱衣、几乎没有护栏，这种行为值得羞辱，但那是针对具体行为。他建议选择目标要谨慎，把像他这样的人争取成盟友，而不是把战术用在所有地方，让讨论越来越苦涩、阵营越来越固化。

明天就能用的几件事

这期 AMA 信息密度很高，但落到行动上，有几条是听完就能做的。

• 先别急着微调。把提示词写得更细、给更多示例、用上缓存，先看能走到哪一步。微调留给你能严格控制输入输出的窄场景。
• 如果非要微调，在数据里写明目的。告诉模型这是训练用途、是练习环境。这一句话可能挡住一整类奇怪的性格漂移。
• 选模型别只看榜单。找 Artificial Analysis、私有基准、或者自己搭一个小评测集，用你真实的任务测。榜单分差和体感差距经常不成比例。
• 跟不关心 AI 的人聊天，讲你自己的故事。讲那个 AI 帮你解决真实问题的具体时刻，比任何抽象论证都有效。
• 职业上做 n of 1。避开那些“很多人做同一件事、强调流程一致、可以被系统评估”的岗位特征，往独特性和判断力上靠。
• 大企业自建横向层防锁定，小项目直接用平台工具。别在工具选型上耗掉比模型发布更快的注意力。

最后回到 Ernie。Nathan 说，看到 0 个活癌细胞那一刻，他第一次开始放松。确诊时孩子离死亡只有几天，反弹的速度和下跌一样快。他说这背后是几代人的工作积累，有很多值得感激的东西。

这也是他讲 AI 时最有力的材料。一个父亲在孩子生死关头每天用模型交叉验证医生的方案，这比任何基准分数都更能说明这项技术走到了哪里。而那些关于微调、榜单、时间表的讨论，最终都要落回到这种具体的人身上。