一个模型包揽14项医疗任务：谷歌Med-PaLM M，写放射报告40%的时候赢了人类医生

2023年8月，谷歌发布了Med-PaLM M。同一个模型，同一套权重，同时看得懂病历文本、皮肤病照片、病理切片、胸部X光、乳腺钼靶，甚至基因测序数据，一共承担14项医疗任务，多项刷新当时的最优成绩，剩下几项也逼近专用系统的水平。在放射报告生成的盲评里，AI写的报告有超过40%的概率被评为优于人类放射科医生的报告。

这是播客Cognitive Revolution第55期的内容，主持人Nathan Labenz是创业者兼AI投资人，这次请来了论文的两位核心作者，第一作者Tao Tu和末位作者Vivek Natarajan，两位都是谷歌的研究科学家。几个月前Vivek刚上过这个节目，讲的是纯文本模型Med-PaLM 2在医师执照考试题上达到专家级的事。几个月后，模型长出了眼睛，还学会了读基因。Nathan说，这种以前不敢想的事，现在几乎成了预期之内。

医学本来就是多模态的，AI也该如此

Vivek解释了动机：医生日常就在跨模态工作，读病历、看影像、查化验单、盯生命体征和传感器数据，把这些信息拼在一起，才能真正理解病人的处境。想让AI真正参与诊疗，模型必须多模态。

通用型智能体在别的领域有先例。DeepMind的Gato用一套权重干过600个任务，能聊天、能看图，还能给叠积木的机器人和雅达利游戏当控制策略。谷歌自家的PaLM-E也是类似思路，只不过原本是给机器人设计的。医疗数据的独特难度在于模态太杂、数据太敏感，没人确定这条路在医疗上能不能走通。Vivek说，团队的习惯是把标准定高，去追最有野心的版本，所以直接奔着“通用生物医学AI智能体”去了。

团队给自己定了两个验收标准。第一，通用模型得追上那些打磨多年的专用系统，比如已经进入全球临床试验的乳腺钼靶筛查模型，达不到就没实用价值。第二，当大量生物医学数据被塞进同一个模型、用语言作为共同基础时，能不能出现正迁移和组合泛化，少样本学习能不能更高效。这两个问题光靠推理回答不了，只能先造出来再看。

基因数据怎么变成一张图

六种模态里，照片和影像都好理解，基因测序数据怎么进模型，是个技术活。Tao介绍了来龙去脉：谷歌基因组团队2018年前后开发了DeepVariant，一个变异检测模型，思路是把基因序列转成三维张量，当成图像去做分类，因为当年深度学习最擅长的就是图像分类。这个模型在precisionFDA挑战赛上连年夺冠，后来还成了斯坦福大学Euan Ashley教授团队创下全基因组快速测序世界纪录的关键组件，那项工作发表在《新英格兰医学杂志》上。

Med-PaLM M借用了这个编码思路，把张量重新塑形，喂给视觉Transformer。所有模态统一转成图像，每张图变成256个token，交给语言模型统一消化。生成式框架的好处在这里显现：连分类任务都能变成文字生成，模型直接输出“疑似这个变异”“疑似湿疹”这样的判断，替代了以前输出一串分类概率向量的做法。

有个细节得单独拎出来讲：基座模型PaLM-E完全没见过医疗数据。团队拿它做基线测试，开箱表现相当差。这个对照反过来证明了医疗领域微调和医疗数据专精的价值，光有一个强大的通用底座远远不够。

炼丹真相：300次实验、一袋技巧和谷歌的算力底座

外面看是里程碑一个接一个，里面看是大量试错。Tao翻了翻实验日志，四个月跑了大约300次实验。12B模型训练一轮约两小时，562B模型一轮要几周。训练数据总共约100万个样本，文本侧每条大概20个token，每张图256个token。对比PaLM预训练时吃下的约7800亿token，微调的计算量只有基座模型的1%到10%。

这套系统的组装方式也透着模块化：PaLM 8B语言模型加4B视觉编码器，拼成12B的PaLM-E，参数直接相加就能协同工作。技巧清单比外人想象的朴素：

• 先逐个任务单独调通，再混在一起训练，反复调各任务的数据比例，防止模型被样本量最大的胸部X光数据带偏；
• 每个任务配一条纯文本示例当指令模板，告诉模型该怎么作答；
• 多图输入训练太费算力，就用文本标签代替真实图像，模型照样学会图像的概念，之后能泛化到多张X光、多次随访的场景；
• 任务混训后出现梯度不稳定，上专门的稳定化技巧；
• 放射科医生Chuck帮着写胸部X光任务的提示词，像真人读片一样分步骤：看哪里、怎么汇总发现、怎么写报告，模型跟得很好。

Vivek总结得很直白：训练大模型就是组装一袋合理的技巧，没有多少秘密新知识，全靠把它们以正确的方式拼起来，累积出超预期的提升。他还补了一句，GPT-4的团队会告诉你同样的话。Nathan接话说，这种散落在顶尖组织手里的细节诀窍，本身就是护城河。

微调方法上也有经验可讲。Med-PaLM 1用的是prompt tuning这种省参数的路子，Med-PaLM 2换成全参数微调，效果更好。团队试过冻结语言模型只调视觉，也试过LoRA这类低秩方法，结论一致：数据量够的时候，全参数端到端微调收敛更快、效果更好，省出来的算力可能远比看上去少。

为什么几个月就能出成果？答案是站在巨人肩膀上。Pathways是Jeff Dean提出的大规模机器学习编排系统，能把巨型多任务多模态模型铺到成千上万块加速芯片上训练，谷歌用的是自研TPU v4。配合JAX生态，transformer里海量的矩阵乘法被优化到极致，包括训练时芯片之间传递激活值和梯度的通信。模型放大到562B，单块芯片装不下，得做模型并行，把模型切片分到不同芯片，再叠加数据并行，也就是复制多份模型各自吃一段数据、把梯度加总进入下一轮，组成立体网格。芯片数量是硬约束，芯片少十倍，两小时就变两周。

论文署名50多人，深度机器学习背景的大概8到10人，其余是临床医生、法务、数据合规和项目管理。Vivek特别强调，数据授权、合规这些贡献在论文署名里常被忽略，但他们坚持把做这些事的人写进作者名单。项目没有自上而下的命令，是一群研究者觉得这事可行，自己凑到一起。PaLM和PaLM-E的原作者也在名单里，随时答疑。Vivek说，AI研究已经过了爱因斯坦式单人英雄的时代，是群体协作的产物，署名大方一点，行业实验室比学术界更容易做到。

562B没有明显强过62B，瓶颈卡在眼睛上

论文报告了三个尺寸：12B、62B、562B。按常理，越大越强。实际结果，中杯和大杯表现差不多。原因找到了：语言模型从8B一路放大，视觉编码器却停在22B的ViT-22B，而且它预训练时看的是自然图像，几乎没见过医学影像。语言容量和视觉容量严重失衡，视觉端成了瓶颈，拖住了整体表现。

分类任务最能暴露这个问题。判断一张皮肤病照片是不是湿疹，语言模型要生成的就几个词，语言能力再强也用不上，真正决定成败的是看懂图像的能力。另外，所有任务共享同一套输入图像尺寸，X光报告生成用的分辨率比专用模型小得多，又压了一层性能。

Nathan提到GPT-4技术报告里那条平滑得离谱的loss预测曲线，用千分之一大小的模型就能预测GPT-4的最终loss。Vivek说纯文本领域确实如此，就算从医学换到法律，token还在同一个空间里，可以外推。可一旦进入多模态，把各自优化好的部件拼在一起，预测力就掉了，只能靠实验说话。Tao补充，视觉编码器是从自然图像迁移过来的，得先单独验证它能适应医学影像，再去接语言模型，这些事只有做了实验才知道。

好消息是，团队清楚每个可以拧的旋钮：让模型自适应处理不同分辨率的图像、调整各模态的token数量、给视觉编码器补医学预训练。他们把这版工作定位成概念验证，下一代模型的提升空间明确摆在那里。

没学过肺结核，却能看出肺结核

论文里有个案例值得细看：肺结核。训练数据里的胸部X光带14种常见临床观察标签，比如心脏扩大，肺结核不在其中。测试时换了一个采集中心的X光片，主要病灶是肺结核，模型不但指出异常，还说出了空洞型病灶这个肺结核的特征性表现，并且定位了病灶位置。8B模型完全做不到，62B和562B都可以。更妙的是，教模型认识肺结核这个概念，需要的样本数是零，一句语言描述就够。把一切映射到语言的好处在这里兑现：语言成了跨模态的通用接口，描述一个新概念不需要新数据。

“涌现能力，就是你没有预测到它会出现的现象。”

Vivek这样定义。他承认团队内部为要不要用这个词争论过，社区里刚有一篇论文质疑涌现能力，认为很多所谓涌现只是度量方式造成的假象。Tao泼了点冷水：肺结核案例仍算分布内的插值，毕竟X光还是X光。他更期待模型对眼底照片这种完全没见过的模态做推理，早期证据有希望，但还有距离。

监管的框子，装不下全科AI

离临床还有多远？两位作者的回答很诚实：这个问题连他们自己、连谷歌内部都答不了。现行监管把AI当“软件医疗器械”管理，前提是系统只做一件事，能力边界清楚，可以量化验证。全科AI的交互方式爆炸式增长，旧框架套不上，FDA的定义和今天的模型已经对不齐。

Nathan提了个思路：直接做系统级对照试验，把模型交到人手里，六个月、一年后看健康结果。Vivek认为这可能是合理路径。Med-PaLM 2目前的做法是先给受信任的测试者使用，收集反馈改进安全性和有效性，团队还专门设计过一批对抗性问题去试图攻破它，防止模型输出带偏见的内容、放大训练数据里已有的健康不平等。Nathan追问，要是有人拿它问法律问题怎么办。Tao说这是所有AI系统的通用难题，护栏工作会持续做下去。

安全问题上，Vivek给出一个有意思的观察：医疗是个受约束的领域，比起谈论哲学和诗歌的通用聊天机器人，医疗AI的安全和对齐问题反而更可解，一些在通用场景下行不通的方法，在医疗场景里变得可行。约束换来了可验证性，这也是谷歌选择从医疗切入的原因之一。被问到是否被监管卡住，Vivek的回答是，模型能力和安全对齐还有很多工作要做，可以和监管讨论并行推进；这么大的技术变革，社会花时间慎重讨论是应该的，重要的是把事情做对，同时保持紧迫感。

从走30英里看医生，到口袋里的AI医生

Vivek的动力来自成长经历。他在印度长大，身边很多人一辈子没看过医生，看病意味着在酷热里走三四十英里路、停工几天、饿着肚子。他做医疗AI十年，动机始终没变。医疗行业最大的三个问题，可及性、成本、质量，恰好都是AI今天就能直接改善的，没有哪个行业像这样，最大的问题和AI的能力对得这么齐。

Tao的动机偏学术，神经科学出身，他想用AI加速科学发现。语言模型读过PubMed上所有生物医学文献，如果这份知识能帮着找到阿尔茨海默病、帕金森病的新基因生物标志物，改变的就远不止医疗效率，还有医疗本身的边界。

Vivek说，把世界级AI医生放进口袋，已不再是科幻。但他同时强调，真实世界验证、临床试验，都还在非常早期的阶段。下一代系统已经在路上：更模块化的架构，接上更强的语言模型，任务基准从14项继续扩，蛋白质组学等新数据排队进来。

三件事明天就能用上：

• 评估医疗AI产品时，先问它是单任务模型还是通用模型。通用模型的短板常在视觉端，别只看参数量，62B和562B打平的教训就摆在眼前；
• 放射报告40%胜过医生这个数字，指向“AI出初稿、医生做审核”的工作流，相关岗位的分工调整已经可以开始规划；
• 想跟进这个方向，直接去读论文"Towards Generalist Biomedical AI"，重点盯三个变量：模块化架构、任务基准扩展、蛋白质组等新模态。