两年半，从33.3%到86.5%：谷歌把医疗AI送进了“医学院”

2020年12月，当时最能打的语言模型GPT-Neo，在一份美国医师执照考试（USMLE）风格的题库上拿到33.3%。

四选一的选择题，闭眼蒙也有25%。这个成绩，只比蒙好一点点。

2023年5月，谷歌I/O大会，Med-PaLM 2把同类题目刷到86.5%，进入考生顶部区间，专家水平。

中间只隔了两年半。

更狠的数字在人类评估里：九个评估维度，医生写的回答在八项上被Med-PaLM 2比下去，剩下一项打平。主持人Nathan Labenz拿自己做参照：GPT-4对GPT-3.5的偏好比也就七三开，对Claude v1.3是六四开。这种量级的差距，他在别处没见过。

本期Cognitive Revolution的嘉宾Vivek Natarajan，是Med-PaLM和Med-PaLM 2两篇论文的主要作者，谷歌研究员。这期节目把两年半的技术路线、评估方法和商业化计划，完整拆了一遍。

从印度乡村到谷歌：人和三块基石

Vivek在印度农村长大。看医生对附近村镇的多数人意味着什么？顶着酷热走30英里，或者搭上一天的工资，或者饿着肚子排一天队。很多人一辈子没进过医院，小毛病攒成大问题，最后变成更低的预期寿命。

2013年，他本科毕业论文做了一个叫Ask the Doctor的应用，想让人随时随地获得医疗解答。用的还是深度学习之前的技术，效果很差。

十年后，他成了把这个故事重写的人。节目里他说：

我们现在可以认真讨论，把一个世界级的全科医生装进几十亿人的口袋。

这个背景解释了项目的底层取向：团队眼里始终有那几十亿看不上医生的人，发达市场医生的效率问题，只是硬币的另一面。

技术来路，Vivek自己梳理成三块基石。第一块，2017年的Transformer论文，他特别感谢了Ashish Vaswani那批作者。这个架构为GPU优化，能海量吞数据，此后六年基本没动过，大家改的都是数据、规模、算力和应用。

第二块是OpenAI的GPT-3：只用“预测下一个词”这个极简目标，在海量互联网文本上训练，模型就冒出了少样本学习能力。

第三块是对齐和RLHF。他举了微软聊天机器人Tay的例子，上线推特一天就学坏翻车。如今的GPT-4们很少出这种事故，靠的是人类反馈把模型行为拉回正轨。

谷歌自己的底座叫PaLM，5400亿参数。Nathan挖出PaLM论文里一个被埋没的亮点：第44页附近写着，PaLM在BIG-bench基准上超过了人类平均水平。当时没几个人注意到这行字。

Nathan还问了个外界好奇很久的问题：PaLM堆到5400亿，像是看到GPT-3的1750亿之后决定“比你更大”；同一时期DeepMind的Chinchilla研究又说参数可以少点、数据多点。是不是并行赛马？Vivek没参与那两个项目，但确认了两条路线都是有用的数据点，正在影响下一代模型。

时间线排出来更吓人：PaLM论文2022年4月，指令微调版FLAN-PaLM同年八九月，Med-PaLM 2022年12月，PaLM 2和Med-PaLM 2今年5月。四代模型，一年出头。

聊到内部协作，Vivek透了个底：谷歌不缺传奇工程师，但他有时会惊讶这套基础设施居然能跑通，感觉像到处缠着胶带。内部玩家的好处，是能看到模型原始形态、深度影响它，这对医学这种需要深度定制的领域很关键。麻烦也有：软硬件都在演进，三个月后可能就有更好的底座，团队永远在纠结要不要把已做的东西迁移过去。

考试高分是个陷阱

FLAN-PaLM在USMLE风格题上创下当时纪录。团队拿真实场景一测，问题全暴露了。

他们让真正的医生给模型回答打分，维度包括事实性、偏见、推理、知识召回、有用性。FLAN-PaLM考试分很高，一换成普通消费者会问的医疗问题，多个维度集体掉分。

基准分数高，和真实世界有用，中间隔着一条大沟。

Vivek总结的经验，Nathan听完说想印在海报上：用例清晰的窄系统好评估，通用系统极难评估，必须钻进真实用例里深挖。

评估方法本身也值得单独说。Nathan特别推崇论文里的一张图：医生、FLAN-PaLM、Med-PaLM的回答并排评估，“做对”有很多种方式（信息召回对、理解了问题、推理对），“做错”也有很多种方式（信息错、漏了关键信息）。同一个回答可以既对又错，所以图里各项加起来超过100%。医生也一样，没人非黑即白。

Nathan还点名表扬了团队里做图的Shekoofeh Azizi和领导评估量表设计的Alan Karthikesalingam。高风险领域敢把失败模式画得这么细，本身就是一种姿态。

一个细节见功力：团队从头到尾没说模型“通过了USMLE”。测试用的是风格一致的代表性题库，题目并非从考试局拿的真卷。当年一堆“AI通过医师考试”的标题里，这种措辞上的克制相当少见。

Vivek现在的反思更直接：这类考试考知识召回加推理，对今天的模型可能已经偏简单，行业需要新的度量工具。

软提示：一百万参数撬动5400亿

Med-PaLM 1的核心假设只有一条：PaLM在互联网规模数据上训练过，医学知识已经存在权重里。缺的是两样，怎么把对的知识调出来，以及怎么像医生一样说话。

医生的表达有个特点：很少说“你100%得了这个病”或者“你肯定没病”，通常带着不确定性，会建议后续检查。知识归知识，表达归表达，一个学生可以把医学书全背下来，不会应用照样没用。

方法叫指令提示微调，俗称软提示。冻结整个FLAN-PaLM，只训练一个约一百万参数的“软提示向量”，作为前缀拼在真实提示前面。它不对应任何真实词汇，作用是给后续生成的每个词做条件化和锚定。

Vivek打了个比方：模型的知识像一座巨大的图书馆，软提示干的事，是给医学区装一盏射灯，照亮要用的那排书，顺便教会它说话的语气。

数据量小得惊人：几百条医生写的示范回答，低三位数。训练几个小时跑完，迭代飞快。

这里有个前提：这是规模的涌现能力。小模型权重里没存够知识，软提示怎么调都没用；大模型知识够了，缺的只是指引，一调就灵。

到Med-PaLM 2，打法换了。PaLM 2更算力高效，团队直接全参数微调，数据依然不大，专家示范几百条，总量百万token量级。微调之后，良好医学推理对错误医学推理的证据比提升了将近9倍。

有人怀疑模型是背题。团队专门做了数据重叠分析：大部分数据集重叠不到10%，有重叠和没重叠的题目，分数差异不显著。这是能力涌现，靠背题解释不通。

围绕“提示工程够不够、要不要微调”，圈内吵了很久。Vivek的立场：只要做梯度下降、更新参数，就是专业化，GPT-4和PaLM 2在他眼里属于同一类。区别在效果出现在哪：顶级通用模型靠简单提示，基准分很好看，一到真实场景的多维评估，差距就露出来。通用模型可能装着全世界的数据，但未必知道在真实场景里怎么行动。这是他们坚持微调的原因。

九个维度赢八个，输的那项更要盯

去年12月的Med-PaLM论文，结论还写着“仍逊于临床医生”。今年5月，评估图翻转了。

拆开看几个关键维度：

• 共识、阅读理解、知识召回、推理这四项核心能力，约70%的评估里模型回答更受偏好，10%到20%平局，医生只赢10%左右。
• 漏掉关键信息、潜在伤害程度、伤害可能性三项，模型大幅领先。
• 人口学偏见，基本打平。
• 医生唯一赢的一项：不准确或无关信息。Med-PaLM 2更容易夹带不准或不相干的内容。

Nathan的目测更狠：九项里至少七项，模型赢得干脆利落，远超GPT-4对GPT-3.5那种七三开的差距。

Vivek的保留意见给得诚实：医生回答天生偏简洁，门诊时间紧，这个习惯可能影响了评估。后续研究要让医生拿出最佳状态，并说明答案的用途。所以他仍然认为，模型不该脱离专家监督自主使用。

但辅助价值已经成立。他给了两个马上能用的场景：电子会诊里医生写个梗概，模型补全并翻译成患者能懂的话；文档工作从10分钟压到2分钟。

凡是专家能快速验证结果的场景，这类模型立刻就能发光。医生从“从头写”变成“改一改”，不需要模型完美。

未来几年的图景，他叫它“协同医生”：模型旁听医患对话，更全面地整理患者信息，解读大多数医生自己都头大的基因组数据，把信息递到医生面前，判断权在医生手里。

医生严重短缺的地区，现状接近“没有医疗”，理论上可以直接部署。但Vivek把话说死了：必须先做足验证，不能直接铺出去。

口袋医生、多模态和出瓶的精灵

这个项目在谷歌内部是个moonshot，自下而上发起，团队横跨Brain、DeepMind和其他Alphabet研究部门，口号是“把基础模型送进医学院”：不光喂医学数据，还要让模型在真实交互里从反馈中学习。

评估里专门加入普通用户，动机来自Vivek的观察：越懂的人越能从这些系统里挖出价值，越不懂的人越容易被伤害。所以必须直接测非专家用户的真实体验，光有专家打分不够。第一轮评估刻意做得简单：单轮、英文问答，因为PaLM没针对多语言和多轮对话优化，那是LaMDA的强项。

多模态是明牌的下一步。医学天然多模态：化验单、电子病历、影像、基因组。Vivek给了一个很大的判断：生物和医学是当今地球上最大的数据生产飞轮，没有任何人类团队能消化这些数据，只有AI能接住。

他判断这会带来两件事：对疾病机制、生物标志物的基础发现加速；把精准医疗规模化到几十亿人。时间尺度，15到20年。

技术缺口他也说得直白。语言模型已经很强，视觉模型还不够，读片像在干草堆里找针，表征必须极其精准。电子病历和基因组是完全不同的模态，编码选择的组合会爆炸。还有个没人做过严肃对比的问题：单一大模型包打天下，还是压缩后分叉出一堆专家模型再路由（类似HuggingGPT的思路），取舍未知。

商业化已经起步。I/O大会公布了Med-PaLM API，开放给可信测试者和学术研究者。最不确定的是直接面向消费者的产品。Vivek的态度很现实：大家早就在用GPT-4查医疗信息，精灵已经出瓶，问题只剩谁来做、在哪做、怎么做。

节目里还有一场路线之争。有创业公司主张只用授权的可信数据训练，暗示互联网预训练学了一堆垃圾。Vivek站互联网规模这边，理由三条：

• 超大规模下的“预测下一个词”等于一个复杂的多任务目标，推理和常识就是这么涌现的。节目上一位嘉宾举过例子：患者说吃了麦片，多半也喝了牛奶；说去了火人节，多半吸了一堆沙尘。窄语料教不会这个。
• 罕见病和疑难症状，大概率有人在某个论坛发过帖，互联网把长尾索引好了，难的是在需要时把信息调出来。
• 他四年的研究反复验证：数据越多样、规模越大，系统的可靠性、校准度、分布外表现越好。小数据集天生有偏，换个场景就崩。

对齐和安全是另一条腿，两条腿缺一不可。

节目末尾照例有两道轻量题。工具推荐他给了MusicLM，谷歌的音乐生成模型，Nathan当天就用它做了一首“关于AI的未来主义经典雷鬼”当片头曲。被问到“如果Neuralink植入已有百万人、安全性过关，你想不想来一个”，他愿意考虑，但判断真正普及的会是非侵入式方案：交互从图形界面到语言，下一步自然是神经接口。

明天就能用的三件事

1. 做垂直领域AI产品的，直接抄这套评估框架：把事实性、遗漏、偏见、伤害可能性、推理质量、知识召回拆成独立维度，专家和真实用户分开打分，正确和错误同时统计。Med-PaLM的价值一半在模型，一半在评估方法。

2. 数据不用贪多。几百条高质量专家示范，几个小时训练，就能让通用模型在一个领域脱胎换骨。先小规模跑通闭环，再谈规模。

3. 普通用户拿AI查健康问题，最该警惕的是不准和无关信息，这是目前模型唯一明显输给医生的维度。关键结论找可靠来源交叉验证，重大医疗决定永远留一道人工把关。

两年半前，这个领域刚过随机线。两年半后，它在讨论怎么给几十亿人当医生。趋势摆在那里，剩下的问题是验证速度和部署方式。用Vivek的收尾作结：

这是一辈子一次的机会，在安全且有益的前提下，用技术和AI改善亿万人的健康，帮助人们发挥潜能。