哈佛教授拿疑难病例考GPT-4：随机100个医生，未必有1个比它强

一个新生儿，阴茎根部有个开口，双侧睾丸摸不到。这种病例罕见到多数医生一辈子碰不上几次。哈佛医学院生物医学信息学系主任伊萨克·科哈内（Isaac Kohane，圈内人都叫他Zak）把它丢给GPT-4，问下一步该做什么。模型一步步往下推：影像检查、激素检查，他每给一步结果，它就接着走，最后给出分子层面的诊断：11-羟化酶缺乏症。

科哈内后来说，随机遇上100个医生，如果有一个能在这类病例上做得比它好，他会觉得意外。

说这话的人有资格。他瑞士长大，美国读大学，生物学专业却迷上了计算机。医学院毕业后他发现临床医学崇高，但科学应用不佳，转身去读了计算机科学博士，赶上1980年代AI的黄金期，又眼看着它跌进寒冬。之后他完成儿科内分泌专科训练，回哈佛先做儿科教授，后来创办生物医学信息学系并担任系主任。他还是NEJM AI的创办人，新英格兰医学杂志的子刊，专门解决一件事：怎么给医疗AI做临床级验证。美国专门啃疑难杂症的“未确诊疾病网络”，协调中心的首席研究员也是他。

2022年秋天，ChatGPT还没发布，他成了极少数提前拿到GPT-4的人。2023年，他和微软研究院负责人彼得·李、科技记者凯莉·戈德堡合著的《The AI Revolution in Medicine》出版，Sam Altman亲自写前言。播客Cognitive Revolution的主持人Nathan Labenz是个创业者兼AI投资人，自称常被网友叫“AI炒作男孩”，这次他给了一个很高的评价：这是他见过的学术界对现代AI应用最好的实操研究。

一通保密电话，和“我说不出话”的那一刻

彼得·李打来电话，先提条件：这件事不能对任何人讲，为了打这通电话，他自己拿到了公司最高层级的许可。这位微软研究院负责人早年在卡内基梅隆当过计算机系主任，懂学术界那套逻辑。他给科哈内看了GPT-4能做什么，又给了他直接使用的权限。

科哈内的第一反应，用他自己的话说，“我的语言失效了”。他自认是个能说的人，那一刻说不出话。

我不惊讶这种事会发生，但我不敢相信它现在就发生了。我本来预计这至少还要五年。

几天之内他想明白了两件事。第一，它会先改造医疗的后端：计费、报销、检查审批，这些医生最烦的行政流程。第二，它会改变患者端的力量对比。"Dr. Google"这个词流行了很多年，患者搜到的信息大量是错的，可他们没有更好的选择。有个能对话的东西，只要最后还有真人医生把关，已经比现状好太多。GPT-3.5那会儿，已经有人在拿它给自己看病，美国如此，全世界如此。

他说，一项变革性技术闯进医学这个保守行业，会改写一些重要的权力关系。阻力一定会有，一部分来自对准确性和偏见的真实担忧，另一部分来自利益。他用了“圣牛”这个词：靠控制医疗信息流动赚钱的人，不会欢迎一个告诉你“手术有五个替代方案”的模型。患者拿着这五条去找第二个医生，第一个提手术的医生不会高兴。这样的对话，未来会有几百万场。

研究方法：别信任何人的结论，包括书里的

Nathan自己也有过同样的时刻。他通过OpenAI的客户预览计划拿到GPT-4，第一晚熬了个通宵，一个测试接一个测试。他问科哈内，震惊过去之后，怎么系统地研究它。

科哈内的答案朴素到近乎无聊：上手，用真实场景把它跑个遍。

• 他和合著者试了几百个临床场景，从初诊筛查到治疗方案，再到生成计费编码，写进书的只是少数。
• 他问朋友最近问过医生什么问题，拿这些问题去考模型。
• 研究任务也一样，把临床研究和基础研究的每个环节列在纸上，一条一条测。有些领域它完全没准备好，有些表现出色。

书里有句话被Nathan反复引用：“要真正理解GPT-4，你得用它，跟它一起生活。读再多资料、听别人描述再多，也说不出坐过山车是什么感觉，跟GPT-4互动也一样。”Nathan补了一句：现在这个阶段连像样的理论都还没有，人们管它叫“前范式时期”，这正是笨办法的用武之地。

科哈内甚至为验证这件事创办了NEJM AI，因为没人说得清临床级验证该由社会里的哪个环节来完成。他的建议对所有行业通用：别让其他人告诉你它能干什么，自己上手，你会同时看到它强得离谱的地方和弱得离谱的地方。

四种范式：为什么“当药来试验”和“当考生来测验”都走不通

书里给出四种把GPT-4接入医疗的思路：当药做试验（the trial）、当考生做测验（the trainee）、当搭档（the partner）、当先锋（the torchbearer）。前两种最符合直觉，也最贴合现有监管习惯，科哈内认为恰恰是它们行不通。

先说试验。过去十年，卷积神经网络在医学影像上很成功，视网膜病变筛查、胸片肺炎识别，都能定义清楚：入组什么患者、成功标准是什么、随访终点怎么算，FDA连这类AI工具都批过。GPT-4复制不了这套流程，原因有四个。

第一，它覆盖全部医学。对话从咳嗽开始，几轮之后可能滑向任何疾病的任何诊疗环节，试验就得覆盖所有病种，几十万患者起步。第二，结果无法复现。2020年初，各家医院用AI预测新冠重症，相隔几百英里的两家医院，模型表现完全不同，因为患者构成不同，肥胖率、种族比例都不一样。波士顿验证出的效果，搬到初级保健几乎为零的地区，数字对不上。第三，模型在变。他明确说，2023年4月他手里的GPT-4，跟2022年10月那个已经不是同一个了。药物是静态的，成分锁死才能做试验，万亿参数的模型做不到。第四，试验会被污染。给一家医院系统GPT-4，另一家不给，医生和患者自己就会用上，双盲设计几乎不可能成立。

Nathan举了个几十年前兰德公司的医疗试验当参照：一部分人享受免费医疗，另一部分维持原状，观察几年看结果。科哈内夸他怀疑精神满分，然后说，真做起来，结果没法入账。差异到底来自GPT-4，还是来自两个医疗系统本身的差别？医疗现在远非标准化，营利医院、非营利医院、学术医院、社区医院，经济模型各不相同，美国国内不同地区都差别巨大。当然，GPT-4可以收窄用途去做单一筛查，但那种活儿专用模型可能干得更好，它的价值恰恰在通用性和语言能力上。

再说考试。GPT-3一年前在美国医师执照考试（USMLE）上表现很差，GPT-4已经顶尖。听起来可以发执照了。科哈内的提醒是，考试默认了一批人类共享的常识和价值观，模型没有。他举了个例子：癌症患者六个月后要参加一场婚礼，可能宁愿选生存率低一点、但副作用小、能体面出席的方案。这种权衡需要一场对话，今天的模型做不了。

它同时比任何你见过的人都聪明，又比任何你见过的人都笨。（彼得·李）

那个老笑话他也没放过：班里成绩最差的毕业生叫什么？叫医生。科哈内相信，GPT-4在成绩后半段的医生手里，能把他们拉到接近前半段的水平，这本身就是医疗质量的巨大提升。但前提是有人在旁边。他保证，去掉人类环节，一定会出问题。哪怕一个智商100的普通人，身上也带着大量共享的价值观和默契，这些没法默认GPT-4也有。他说，也许等GPT-7装进机器人跟我们一起生活，才可能习得这些东西。

还有一个容易被忽略的观察：懂得越多，能从GPT-4那里得到的越多。问题问得聪明，答案就给得聪明。

搭档模式：没有医生该离开这个助手

他当住院医那会儿有个传统：门诊结束，一群医生坐下来把病人过一遍，有人说“你考虑过这个吗”，然后真的打电话给病人改方案。这种复盘实实在在地提升了医疗质量，后来因为医疗的经济压力消失了，医生连坐在一起的时间都没有。

科哈内认为GPT-4能把这个消失的环节带回来。它旁听医患对话、读病历，随时插话：这个你考虑过吗？琼斯太太不是已经做过这个检查，别重复开。有个新药效果是原来的两倍，毒性更低，要不要换？模型走向多模态之后，它还能看片、听诊，接住人类因为疲劳和疏忽漏掉的东西，也能帮你认出那些“本该多看一眼”的患者。

医学知识更新快到什么程度？基因组学这些新领域，有时患者比医生懂得还多。他直接说，没法强制医生去读最新文献，甚至没法强制他们为患者Google一下。但一个一直在听的智能体，能给患者多加一层把关。

他的结论值得整段引用：

没有医生应该没有它。他们该有这样一个助手：一丝不苟，知识永远最新，永远警觉，有时会出错，而你在场评估它。如果我是患者，我会希望我的医生有这个东西。

Nathan转述了书里的判断：GPT-4在临床上已经是“超人”水平，很快，没有这类辅助就接受的医疗建议，会被视为不达标。权力关系会跟着变，患者端拿到同等级的专家知识，医疗系统被迫提升质量。

需求端的孤独也是真的。有实际健康问题的人，能说话的人很少，初级保健就诊只有10到15分钟，问题答不完，下一个问题要再等六个月，等到时病情已经更重。1970年代的ELIZA，一个只会把你说过的话换个说法反弹回来的程序，开发者魏泽鲍姆自己的秘书都会锁上办公室的门跟它聊天。Replika做了多年陪伴AI，CEO上Nathan的另一档节目时说，哪怕系统很简陋，对孤独的人也意义重大。科哈内觉得这既暖心又吓人，需求摆在那里，技术只会更猛。

它还做不到的事，和未来五到十年

第四种范式，先锋模式：AI能不能独立提出可检验的科学假说？书里的答案是目前不能。科哈内解释了卡在哪里：它学的是人类谈论过的东西。人类谈得多的领域，它能做不错的理论构建；人类没怎么谈过的领域，它连该要什么数据都不知道。他的原话是，这一代模型“语言上至尊，科学上不是”。

但边缘地带它能给人惊喜。他主管的未确诊疾病网络，斯坦福、哈佛、贝勒、杜克等多家顶级医院参与，大约34%的病例能找到答案，给患者带来实质改变。他拿这个网络都没解决的病例考GPT-4：患者五个基因上都有突变，哪个是致病基因？模型选中的那个，正是团队后来用果蝇模型等基础研究验证过的那个。这算不上独立的理论构建，但已经站在已知知识的毛边上干活了。

未来五年的路线图，他给了三块。

第一，医院级定制。用Pinecone这类向量数据库做嵌入，把本院患者群体的多维数据做成知识库，挂在通用模型旁边，让答案贴合本院的实践。前面说的“各医院患者构成不同”，这是最直接的解法。

第二，语音。医生职业倦怠的第一大来源，是他们被逼成了文书员。全程多说话人语音识别，结合患者既往病历，自动生成初稿病历，医生看一眼确认，再分别发给患者、转诊医生和保险公司。这块他连科幻想象都不用，就是下一步。

第三，科学发现。AlphaFold已经用氨基酸序列这门“语言”解出了几乎所有蛋白质结构，正被用来理解小分子如何对接，DeepMind在推进大分子相互作用。他判断，五年内药企就能用模型预测：一堆候选化合物里，哪些更可能带着疗效和可控的副作用走完一二三期临床。5到10年内，模拟一个细胞会成为可能。至于科幻场景，一个癌症患者带着胚系和肿瘤的突变清单，问该用什么药，没有药就问该开发什么药，他估计10到15年，也许更早。

数据归谁，AI为谁工作

Nathan问了一个少有人讨论的问题：AI到底为谁工作？医院有医院的AI，医生有医生的，患者有自己的？

科哈内的判断：中长期会出现分属不同阵营的AI，保险公司的AI、医院的AI、患者的AI，各自成市场。作为个人，他希望对齐患者的那个得到最多公共支持。逻辑很朴素：如果AI对齐的是我，我愿意把数据给它，就像我愿意让医生把我的病历拿去请同行会诊。

他参与过Apple Health的早期工作。苹果已经跟800家医院建立了连接，每月还在增加几百家，用户能下载自己的用药、化验、诊断、手术记录，临床笔记也快了。让患者知情同意后贡献数据，是获得最大信任的路径。数据从患者手里流向对齐患者的AI，起点就比从利益不一致的机构流出干净得多。

明天就能做的三件事

• 不管干哪行，别靠评测文章下结论。拿自己工作里真实的20个问题去测它，记下哪里强、哪里翻车。科哈内测了几百个场景，他的判断才站得住。
• 问得越内行，收获越大。懂行的人问出懂行的问题，才能榨出懂行的答案。把它当搭档，先把自己的专业知识带进对话。
• 保留人的判断。模型可以补漏、提醒、更新知识，但涉及个人价值观的权衡，比如那个“六个月后的婚礼”，今天只有人能谈。科哈内保证过，没有人类环节，一定会出问题。

普通人还有一件顺手就能做的：打开手机里的健康App，看看自己的数据在不在里面。未来几年，谁来保管你的健康数据、喂给对齐谁的AI，会从抽象问题变成每个患者的具体选择。