260 位医生与 49,000 条标准：OpenAI 健康负责人讲透医疗大模型走到哪了

Cognitive Revolution 这期开场不太一样。主持人 Nathan Labenz 先讲自己的事。他儿子确诊癌症，住院头一个月三十天高强度治疗，他每天早上把电子病历导出成 PDF，同一份材料丢进 ChatGPT、Gemini、Claude，第二天拿去和主治肿瘤医生对照。

三个月下来，他的判断是：前沿模型在几乎所有问题上和主治肿瘤医生并驾齐驱，明显强于住院医师。双方大约出现过六次分歧，事后复盘医生略占上风，六比四。差距几乎总是同一类：医生会多看孩子一眼，看呼吸的样子，看肤色，然后说一句「我觉得他没事」。这种多年临床攒下来的多模态直觉，模型还没有。

这期嘉宾是 Karan Singhal，OpenAI 健康 AI 负责人，2026 年初入选 Time 100 Health。他之前在 Google 做医疗 AI，参与过 MedPaLM 相关研究，2022 年前后全职转向这个方向。他给健康团队定的三层目标是：让医疗专业知识更普及，把健康场景当作安全与对齐研究的实地训练场，再带着社会一起走完这项高风险技术的部署。

从 0 分到 40%：HealthBench 是怎么造出来的

OpenAI 在 2025 年 5 月发布了 HealthBench。它由 5,000 段真实健康对话组成，话题覆盖普通用户和医疗从业者，背后是 260 位医生花了大约两年时间写出的约 49,000 条评估标准。平均下来一段对话对应十条左右的具体要求，实际分布要密得多。

为什么不用写规则说明书的方式？Karan 解释得很直白：

「do no harm」是一条极好的原则，但它不告诉你绝大多数具体场景应该怎么办。

你可以坐下来写一份规范，规定模型在 A 情况下说 X，在 B 情况下说 Y。好处是容易解释，坏处是你和我都不可能穷举真实世界。OpenAI 的做法是把这件事外包给几百位医生的集体判断，而不是一两个人的第一性原理。

医生网络分三层。最外层是高层顾问，帮忙看战略和路线图。中间层规模最大，Karan 把它形容成「人类数据运营，但协作更主动」，团队和他们天天在 Slack 里互动，让他们比较模型输出、做红队测试、找出今天还没被覆盖的盲点。ChatGPT for Healthcare 上线之前，这批医生做了六个月的九轮红队测试。最顶层是少数深度顾问，把几百人的集体声音翻译成评估集和训练数据，直接对接研究团队。

HealthBench 有三个版本，对应三个设计原则。完整版追求「有意义」，分数涨上去，人类健康应该真的会变好。Consensus 版追求「可信」，只保留多数医生都认同适用的标准。Hard 版追求「有挑战」，专门挑各家模型都答得最差的题。三个版本背后是同一个焦虑：过去所有像样的医疗基准，几年之内都会被刷到 95% 以上，然后失去意义。

HealthBench Hard 至今没有饱和。基准刚做出来时，GPT-4o 在这个版本上拿了 0 分。现在是 40% 左右，OpenAI 之外的竞品模型大约 20%。Karan 说这是他最喜欢用来衡量开源模型水平的外部基准。

还有一个细节值得单独拎出来。HealthBench 用模型给 49,000 条标准打分，团队让医生把模型评分和医生评分做对比，结果模型评分器比医生的平均水平还要准。Nathan 当场开玩笑：这是递归自我改进的警报。

校准这件事，普通用户能怎么用

Nathan 提起 GPT-4 模型卡上那张著名图表：预训练模型对自己答案的置信度校准得相当好，后训练之后反而变差。他想知道这个问题后来怎么样了。

Karan 的回答是：测量方法本身失效了。当年那张图测的是「模型给答案 A 的下一个 token 概率，是否对应它答对的真实概率」。现在模型会先输出一大段推理 token，你没法再用同样的方式读 log probability。团队换了两条路。一条是把「答对」的定义做得更丰富，不再看选择题正确率，而是看关键事实有没有说到、有没有在需要时建议就医、有没有正确表达不确定性。另一条是 worst-of-N：同一道题采样 20 次，看最差的那次表现如何。

结果比预想的好。Karan 的原话是，o3 当时最差的一次表现，远好于 GPT-4o 最好的一次。这个趋势还在继续。今天通过 API 拿到的 GPT-5 nano 模型，以及 OpenAI 的开源模型，性能已经接近不久前还是旗舰的 o3。

Nathan 追问：作为用户，我跑两遍能不能买到保险？Karan 给了几条实用建议。第一，健康相关问题优先用推理模式，别用即时模式，GPT-5.2 thinking 比 instant 更值得等。第二，想要更稳就上 GPT-5 Pro。第三，自己动手做「LLM 议会」：同一问题采样十次，把输出合在一起让另一个模型综合，效果会略好，GPT-5 Pro 内部做的事也差不多。他的判断是，除了最复杂的情况，多数人用默认推理档位就能拿到接近最优的结果。

肯尼亚的那项研究和医生端的转折

播客里提到一项不太被中文世界讨论的研究。OpenAI 和肯尼亚的医疗系统 Penda Health 合作，做了第一个 LLM 临床 copilot 的真实世界对照研究。医生在电子病历系统里打字时，AI 在旁边当安全网，发现可疑、异常或可能出错的地方就提示，对照组没有这个功能。结果是，使用 AI 的医生所治疗的患者，在诊断和治疗结果上有统计学显著的改善。

Karan 把这类研究看成评估链条的最后一环。离线基准是前瞻性的，生产流量的隐私保护分析是回溯性的，真实世界研究把两头接上。

2026 年 1 月 8 日，OpenAI 发布 ChatGPT for Healthcare，面向临床工作流，HIPAA 合规，带医学指南检索，合作方包括全美八家领先医疗机构。Karan 说发布之后收到的问询多到团队接不过来。他的判断是，2026 年会成为 AI 辅助诊疗进入常规的一年，但不会以周为单位完成。医疗工作流的惯性很大，Penda 的经验是光给工具不够，还得做变更管理，把医生带着一起学。Nathan 担心医学会不会像其他行会那样提高门槛、保护自己，Karan 说实际看到的保护主义远比预期少，原因很简单：很多医生自己就在用，用过之后对话就变得非常容易。

你的数据不训练模型，产品还免费

ChatGPT Health 在 2026 年初推出，能连接电子病历系统、消费级可穿戴设备和 Apple Health。它给健康数据加了专门设计的额外加密层，并且把这些数据和 ChatGPT 里的其他对话、记忆、应用隔离开。你的健康上下文不会渗进别的对话。

最反直觉的一条承诺是：你连接进来的健康数据，不用于训练基础模型。Karan 给了两个理由。一是基础模型已经足够好，健康数据并不是最重要的改进路径。二是降低使用门槛，不想让人在隐私和效用之间做取舍。

商业上的取舍更狠。ChatGPT Health 免费，无广告，而且对推理模型不设速率限制。Karan 说得很明确：广告不会进 ChatGPT Health，公司要把健康影响工作和可能被视为其他激励的东西彻底分开。Nathan 把这套东西叫 universal basic intelligence，一种新的社会契约雏形。

Nathan 自己的经验是，普通人往往高估了分享健康数据的风险，低估了它的收益。他公开讲儿子的病情之后，收到的是连接机会、专家资源和个性化治疗公司的进展。他的建议是去追收益，别太担心数据躺在某个日志里。Karan 的回应更克制，承认隐私对很多人极其重要，也承认今天患者对自己数据的掌控仍然很糟。二十世纪治愈法案之前，患者连看自己数据的权利都没有，现在也只是好了一点。产品要做的，是把激活能量降下来。

医疗场景里的对齐研究

Karan 来 OpenAI 做健康，有一个动机是把对齐研究从玩具环境里拽出来。他觉得两年前很多中长期的安全生产研究都在数学题或者人造场景里打转，缺少真实反馈和短期激励。医疗刚好相反：问题明确，专家在场，出错有代价。

他举的例子是 scalable oversight。在医疗里，这个问题不是假设。模型在某些窄领域比医生强，那医生怎么监督一个比自己强的系统，怎么给它训练信号？他把问题拆成两块。一块叫 rater scaling，研究怎么把专家意见和人类价值有效地引出来，包括让 AI 参与进来帮人更好地批评 AI 输出。另一块他内部叫 value oversight：知道了价值观之后，怎么用大量算力把它训进模型里。后者在外界看来有点像枯燥的后训练工作，Karan 认为这是好事，说明研究落到了系统真实的样子上。

更长期的方向是 persona 提取。模型能力越来越强，上下文越来越多，能采取的行动也越来越多，最重要的问题会变成：它是不是那种会为病人、用户、医生做正确事情的模型？团队在健康场景里练的是怎么把角色里好的部分精准提出来，同时避开过度保守这类副作用。

Nathan 提到 Apollo 团队观察到的现象：模型思维链里出现过一种内部方言，外界担心 RL 压力会让它滑向不可读的 neuralese。Karan 说截至目前没有看到大规模证据，OpenAI 在尽量避免对思维链施加优化压力，其他实验室也有类似承诺。他解释思维链之所以保持可读，原因朴素得有点好笑：模型有英文的先验，给它空间自由思考，用英文是最省力的做法，训练里没有任何东西在奖励它变奇怪。他也补了一句，极限情况下他认为迟早会发生。

天花板与 Move 37

Nathan 问，医疗里的 Move 37 长什么样。Karan 说不太远。很多人跟他讲过同一种经历：看了好几个医生没结论，跟 ChatGPT 聊完拿到一条线索，回去找医生，一起把诊断做出来了。算不算 Move 37 看各人品味。

他更看重的是 world models in health 这个概念：模型对「你、你的健康、你的健康轨迹、以及这些和生物学怎么交叉」的理解会大幅提升。这是 Move 37 可能出现的地方。至于完全在硅基里模拟人体，他认为又贵又难，也不是当前模型最擅长的事；给定大量上下文去预测某个干预的结果，这条路径更现实，也在变好。

Nathan 抛出一个社会契约设想，他叫它「AI 与尝试权」：患者拿到尚未验证的治疗方案，作为交换把结果交回来，让社会集体学习。Karan 接得很顺。他补充了一个被忽视的事实，大多数失败的临床试验死在招募环节，符合入组条件的患者找不到，根子是数据碎片化。他描绘的未来是：患者能拿到自己的数据，医生在患者同意下能无阻碍地调取，研究者也能在额外知情同意下使用。三方都受益。

他把团队使命归结成三个渠道：帮消费者理解和导航自己的健康，帮医疗系统把 AI 辅助诊疗变成常规治疗的一部分、把医生从文书里解放出来，以及抬高科研天花板。前两条是抬地板，第三条是抬天花板。生物学里有大量突破，物理上没有任何障碍阻止它早五到十年发生，缺的只是更多人类智慧被应用上去。

明天就能用的几件事

这期播客的信息密度很高，落到操作层面，Nathan 和 Karan 给了几条可以直接上手的建议。

• 健康问题默认用推理模式。GPT-5.2 thinking 优于 instant，多等几十秒换来的准确率提升很划算。
• 把上下文喂满。电子病历、化验单、影像报告的 PDF 能导就导。Nathan 每天早上的固定动作就是把最新结果同时丢进三个模型。多模态数据未来只会更值钱。
• 多模型交叉验证。Nathan 的体感是 Gemini 最敢推你维权、对自己的判断最自信，ChatGPT 回答最长、最临床、最像一份报告，Claude 居中、更简短也更克制。三家都问一遍，分歧点往往就是值得追问医生的地方。
• 主动让模型反问你。Nathan 后来学会让模型采访他，甚至指导他自己给孩子做体格检查。会反问的模型比会答题的模型有用得多。
• 现在就开始戴可穿戴设备。Karan 的原话是，你为自己收集的数据，价值会随着模型智能提升而上升。如果以前没开始，现在是时候了。

Nathan 在节目里说过一句话，值得抄下来贴在显示器上：他会知道自己用 AI 用成功了，标志是坐在这把椅子上的时间变少，身体动得更多。模型再聪明，最后还是要落到人身上。