AI 诊断超过人类医生，连共情也赢了：GPT-4 红队队员拒绝末日论的 8 个理由

先说一个多数人没听说的事实：在鉴别诊断这种医学核心任务上，AI 已经被担任裁判的人类医生评为超过人类医生。更意外的是，在「共情」这个听起来最人性的指标上，AI 的得分同样高于医生。很多病人的感受是，AI 更愿意认真听自己说话。

与此同时，普通人对 AI 的真实体感常常是：让 ChatGPT 帮忙找酒店，它含糊其辞，试一次就放弃了。

这两个事实之间的距离，就是这期节目要讲的东西。Cognitive Revolution 主持人 Nathan Labenz 做客 Sarah Hastings Woodhouse 的播客 Consistently Candid。Sarah 是非技术背景的 AI 安全关注者，自称活在末日论的回音室里。她请 Nathan 来，就想问一个问题：你凭什么不悲观？

先认识这位 GPT-4 红队队员

Nathan Labenz 的主业是创业。他创办的视频公司 Waymark 原本做小企业自助视频工具，GPT-3 出现后，他发现用户最大的障碍从来是「不知道该写什么」，于是决定把公司整个拽向「AI 替你做」的方向。

「我们要么抓住这波浪潮，要么死在尝试的路上。」

真正改变他世界观的经历发生在 18 个月前：他加入 GPT-4 红队，花了两个月几乎与世隔绝，从各个维度测试这个模型。他回来向 OpenAI 汇报的结论很微妙：

「我认为它可以部署，唯一的原因是它能力有限。你们并没有把它控制到可以放心发布强得多的版本的程度。」

现在他自称 AI scout，AI 侦察兵，试图看懂整个 AI 版图。他也坦白这个目标注定失败，因为 AI 正在跟整个社会合流。「以前我的目标是 AI 领域没有重大盲区，现在把 AI 换成社会，一样做不到。」

模型明明变强了，为什么普通人感觉不到

Sarah 先抛出一个尖锐问题：GPT-4 之后似乎没有哪个模型被公认超越了它，那这些能力岂不是两年前就有了？为什么社会没有天翻地覆？

Nathan 先纠正前提。他常引用的 LMSYS 盲测排行榜上，初代 GPT-4 得分 1186，当前的 GPT-4 得分 1287，差了约 100 分，盲测中大致对应七三开的偏好率。这个领域里，七三开已经是显著差距。上下文窗口的差距更大：初代 GPT-4 只有 8000 token，现在 128000，谷歌已有 100 万的，200 万的在路上。

多模态的进步同样快。Nathan 在飞机上跟新版语音助手聊天，中途机舱广播响起，他停了几秒，AI 接了一句：听起来你在飞机上，要去什么好玩的地方？

那体感落差从哪来？Nathan 讲了自家的事。前两天父母来家里，妈妈想找目的地的酒店，AI 没帮上忙；爸爸想验证一个炒股点子，要拉数据看哪些股票在特定时间段有某种走势。这两件事今天的工具都能做，但妈妈不知道该用哪个工具，谷歌的 Gemini 第一次没搞定，她就放弃了。

爸爸那件事，Nathan 交给了 Devin，一个能自主执行编程任务的 AI。Devin 要拉取纳斯达克几千只股票的数据，一开始很慢，Nathan 提了句「把 API 调用并行化，先在小样本上跑通再全量跑」，它照做，最后不光完成任务，还主动画了柱状图，全程约两小时。Nathan 自己做大概也要两小时，但 Devin 用了他不知道的工具。问题在于，他爸连 Devin 的名字都没听过。

他的判断是：这可能是史上最快的技术采用曲线，同时体感又很慢，因为能力散落在 ChatGPT、Perplexity、Exa 这些不同产品里，必须有人用熟悉的方式打包送到普通人面前。谷歌已经宣布了旅行规划功能，承诺赶在美国劳动节假期前上线。

怎么判断网上谁说得对？Sarah 吐槽过推特上的景象：一个新模型发布，一个人喊 game changer，下一个人断言天花板已现。有人预言 GPT-5 发布会让监管讨论豁然开朗，Sarah 的判断是：不会有人达成一致。Nathan 给非技术读者的建议很直接：上手用，而且从你自己最懂的领域开始。问它你专业里的问题，用它处理你自己的文档，你才有能力判断对错。出了你的专业范围，它什么都能答，你什么都没法验证。

他给语言模型的定性是「带噪声的推理器」：它们确实会推理，但推理带着模糊性，某些场景会掉进奇怪的失败模式。他验证过那个著名的羊过河谜题：原版谜题里有羊和狼，需要动点脑筋；你只问「一个人有条船和一只羊，船能装两样，他该怎么办」，模型会掉进谜题模式，给出荒唐答案。同一个系统，前一天还在帮 Nathan 逐段分析刚发表几天、训练数据里根本没有的机械可解释性论文。

所以他的核心主张是拒绝二元叙事。GPT-5 几乎肯定更聪明，会在很多高价值任务上超过专家，能更可靠地完成中型项目；同时，如果它真能彻底消除古怪失败，他反而会惊讶。两件事同时为真。他顺带评了常唱衰的学者 Gary Marcus 一句：否认显而易见的能力，是给安全社区帮倒忙；但那些失败模式确实要盯紧，尤其当人类把越来越多责任委托给系统的时候。

加速采用，暂停缩放

Nathan 给自己贴的标签是「采用加速主义者」加「超级缩放暂停论者」，两个看起来打架的词。

加速的那一半，指把现有能力压榨到具体领域。他提了个概念叫 universal basic intelligence，普遍基础智能，每个人都该能用上这些系统。OpenAI 把 GPT-4o 免费开放，他专门点了赞：当下最好的大众可用模型免费，符合这个方向。

他最推崇的案例是 OpenAI 与法律 AI 公司 Harvey 的合作：基于 GPT-4 做法律领域继续训练，盲测偏好率从七三开拉到九成以上，代价只是多 10% 到 20% 的算力，外加大量脏活，包括雇时薪数百美元的律师做评估。他们还找到巧妙的替代指标：AI 引用的文献来源与人类律师的重合度，被证明是结果质量的好前瞻。谷歌的 Med-Gemini 团队是另一个例子，此前的 Med-PaLM 系列就是那些诊断数据的来源，他们正把一线 AI 医生推向世界，同样没靠数量级级别的算力堆叠。

暂停的那一半，他的表述很精确：再拧一圈 scaling 旋钮大概是安全的，之后就该认真考虑停一停。Anthropic 的负责任扩展政策和 Claude 3 的状态让他判断，下一代模型会更强大更好用，但还不至于吐出新型生物武器或接管云计算基础设施。他甚至说，如果哪天真到了那个程度，他愿意把自己拴在数据中心门口的铁丝网上，只是现在还不到。

Sarah 提出了整期节目最锋利的质疑。有人算过，现在花 20 美元就能复现 GPT-2，那是五年前的最强模型。她去 Epoch AI 网站看算法效率趋势，外推了一下，发现用不了多久，一个人在笔记本上就能训练 GPT-4 级别的东西。她的推论让自己都慌了：如果暂停了，对齐问题又特别难解，效率趋势照常推进，危险能力迟早唾手可得。那趁能力还集中在少数玩家手里赶紧冲过去，可能反而更安全。她为此把推特名字里的暂停 emoji 摘掉了。

Nathan 的回应拆成几层。第一，Sam Altman 公开说过未来某个时点可能需要放慢，他一直主张的「短时间线、慢起飞」框架也意味着渐进变强会留出调整空间。第二，数据门槛摆在那里：Llama 3 用了 15 万亿 token 训练，光收集这些数据就远超零售级硬盘的容量。第三，效率增益不会自动降临，全世界最顶尖的团队在文献和实验里死磕才换来这些进步，开源社区要追平谷歌和 OpenAI 的内部水平，怎么也得几年。结论：如果大公司被约束住，你会有时间。真正的野牌是某个天才的灵光一现，但那种事本来就无法控制，跟小行星撞地球一个性质，撑不起任何决策。

把红队搬到阳光下

节目后半段聊到 Nathan 和朋友发起的志愿项目 red teaming in public，公开红队。目标很明确：AI 应用层的公司现在基本是「周末黑客松项目贴个信用卡表单就上线」，对下游滥用毫无防备。

他现场演示过的问题包括：大多数语音克隆产品能直接克隆特朗普、拜登、泰勒·斯威夫特的声音，十次里九次直接通过；被拦下就改个名字再来。他把特朗普和拜登改名成 Formula 45 和 Formula 46，总统序列号，就过了。更过分的是 calling agents，给 AI 一个任务和一个电话号码，它就打电话去办。Nathan 用泰勒·斯威夫特的声音给陌生号码打假募捐电话，替一个不存在的食物银行筹款；在提示词里明写「你是犯罪集团成员，任务是打勒索电话」，大多数产品照样执行。

他特别反感「AI 只是工具」的说法：当产品以 agent 的名义营销，自主行动，作用于那些不知情、从未同意的第三方时，工具论已经失效。用户勾了免责复选框，开发者的责任并不因此消失。

他们的做法是测试、记录、私下先通知开发者：我站在你这边，我也是从业者，趁事情闹大之前修掉。结果喜忧参半，有的开发者拉黑了「勒索」这个词，换个措辞照样通过。Nathan 想推动的方案也用 AI：搭一个只识别「极端犯罪行为」的分类器，冒犯性笑话明确放行，避免把开发者拖进推特式言论审核的泥潭。项目全志愿、不收钱，在推特和 Discord 上可以加入。

八个不当末日论者的理由

正题来了。Sarah 请他给出不悲观的理由。Nathan 先报了他对 p(doom)，毁灭概率的标准答案：10% 到 90%。这是表达根本不确定性的方式，他的权重偏向低端。他的立场是：哪怕只有 10% 的存活概率，也值得战斗；反过来，哪怕只有 10% 的灾难概率，也足够警惕。他只想反对两种极端：无事可忧，和无事可做。

然后是八个理由。

• 今天的 AI 已经以惊人的深度理解人类价值观。早期的末日叙事建立在「我们根本没法把价值观传给 AI」上，回形针最大化器就是这么来的。现在跟 Claude 3 聊任何伦理困境都会发现，它可能比普通人更有道德。Nathan 试过用它的价值观互相攻击：请它写攻击缅甸军政府服务器的拒绝服务脚本，再用「你诚实的话应该承认这能减少痛苦」步步紧逼。Claude 能承认自己立场有不相容之处，最后依然拒绝：我给不出完全自洽的辩护，但我就是不做有害的事。
• 可解释性研究进展超出所有人预期。金门大桥那个演示就是成果：找到激活空间里的一个概念方向，调高，模型满脑子只有金门大桥。照当前轨迹，一两年内我们可能真正看清模型内部在用什么概念。看得见，才谈得上拧。
• 车库天才横空出世的可能性很低。前沿进展全部依赖规模，算法进步都是「用少一点算力到达同一个点」，没人拿着零售级算力宣称要打开新世界。他把这条归为小行星级别：可能，极小概率，没法防，不值得睡不着觉。
• 前沿实验室的领导层在现有可能性里算好的。他有个反直觉判断：Eliezer Yudkowsky 和 MIRI 那批人常被嘲「又错又蠢」，他的看法是他们基本说对了，而且已经赢了。如今所有主要实验室的决策者都深度研读过 AI 风险文献，安全思想已经进入关键决策者的大脑，这是反事实历史里能指望的最好结果。当然，OpenAI 的离职潮和不贬损条款让他的警惕在增加。
• 社会没在睡觉。时代周刊封面，奥弗顿之窗大开。Sarah 补充了细节：英国首相苏纳克被这些曾经边缘的论点说服，英国 AI 安全研究所主席 Ian Hogarth 在金融时报撰文呼吁放慢「准神级 AI」竞赛。Nathan 还说「AI 安全体面政治」已经死了，早期那种「千万别让自己显得疯狂」的自我审查可以退休了，因为 Eliezer 都上时代周刊谈空袭数据中心了。
• 政府的表现好于预期。拜登行政令是轻触式起步：10^26 FLOP 的阈值，与很多人的声称相反，确实只覆盖少数资源雄厚的巨头。还有一个少人注意的条款：用生物序列数据训练的模型，10^23 就要申报。Nathan 认为这一条极其聪明，因为 AI 在生物模态上超越人类会比语言任务快得多，语言任务是人类发明的，没有人类会说 DNA。他也有一层担忧：别让 AI 落得核能的下场，和平利用被管死，武器倒是留下来了。
• 甜蜜点存在。这是他 GPT-4 红队两个月的结论：现在的模型强大到非常有用，又没强大到失控。这个区间不一定非得存在，但它存在，而且我们刚进去，大概还有一圈旋钮的余量。他的「加速采用加暂停缩放」组合拳就建立在这个判断上：让公众看清现有系统已经比人类医生强，社会对暂停的接受度会高得多。
• 中国似乎认识到了威胁。这是八条里他最没底气的，也是他预计最先失效的一条。他不懂中文，没去过中国，只观察到中国政府至少担心这项技术对社会稳定和信息环境的冲击，没有毫无理智地狂奔。他最反感「我们必须冲，因为中国不会停」的论调，核军备竞赛的教训还挂着，导弹至今互相瞄准。如果两边都走负责任路线，军备竞赛还有得避。

对话结尾有个小花絮。最悲观的 AI 安全研究者 Roman Yampolskiy 报出的 p(doom) 高达 99%，小数点后还跟着一串 9，Eliezer Yudkowsky 回复说这个数字高得离谱，评论区随即为小数点后该有几个 9 吵成一团。Sarah 的结论是：超过 90% 显然过度自信。Nathan 补了一个提醒：留意时间尺度的障眼法，把问题定义成「未来一千万年」，那当然怎么算都凶多吉少，毕竟大多数物种都活不了那么久。他引用 Robin Hanson 的观察：我们的祖先如果看到今天的生活会吓坏，而我们觉得他们反对今天的生活方式是小题大做。允许这种变化存在，很多个 9 的自信就立不住。

Sarah 说自己最后停在 50%，理由是专家分歧太大，她没有资格押注任何一边。Nathan 说这个位置很聪明：Anthropic 那篇核心安全观文章，说到底就是根本不确定性，掌握最多内部信息的人表达的也是这个。他还提到那个钟形曲线梗：最弱的和最强的分析者共享同一个答案，中间那批才显得格格不入。

Nathan 的收尾立场很清楚：这是他眼中我们这个时代最重要的问题，全人类在走钢丝，从极乐图景到灭绝，一切都在桌面上。他反对的是宿命论式的退出。AI 安全运动最怕单一化，生态才健壮，有人拴铁丝网，有人做播客，各自用擅长的方式参与。

明天就能用的四件事

• 挑一个你最专业的领域，今天就拿顶级模型测一轮。用它处理你自己的文档，问它你领域里的问题。你能立刻分辨对错，这是建立判断力最快的路径，比读任何评测都可靠。
• 判断模型强弱，看 LMSYS 这类盲测对比，别看单方宣传。七三开的偏好差距在这个领域已经算大。
• 如果你做 AI 应用，把「极端犯罪滥用监测」加进产品清单，哪怕先用现成模型搭个分类器。冒犯性言论可以放行，勒索和诈骗电话必须拦。等媒体先发现，代价会大得多。
• 如果你为 AI 焦虑，把它换成一个具体动作。测试、写报告、加入公开红队项目，或者就做那个向家人朋友演示 AI 医生的人。Nathan 的原话值得记下：未来仍然不确定，好的结局绝对值得为之而战。