No. 25·精读

临床指南只有11%有硬证据,这位创始人要让GPT-4给你看病

E25: Revolutionizing Patient Care with Neal Khosla of Curai Health

Nathan 与 Erik 对谈 Curai Health 创始人 Neal Khosla,聊 AI 在医疗的现状、低成本线上诊疗与未来就医体验。

节目音频00:00 / 1:29:52
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

先看一组数字。几年前一项针对临床指南的综述发现,医生奉为圭臬的「最佳实践」,只有大约11%建立在A级临床证据之上。剩下九成,本质上是专家委员会坐下来商量出来的意见。再往下挖一层:医生只有大约一半的时候真的照着指南执行。两个数字相乘,一个病人拿到真正数据驱动建议的概率,只有5%上下。

这是Neal Khosla在播客Cognitive Revolution上抛出的判断。他是Curai Health的创始人兼CEO,公司在这一轮AI热潮之前就融了超过5000万美元,做AI辅助的线上诊疗。2023年5月,他和主持人Nathan Labenz、Eric Torenberg聊了一场信息量极大的对话,从GPT-4考医师执照考试,聊到数据护城河为什么靠不住,再到穷国为什么更乐观。

这场对话的稀缺之处在于,Neal既发论文又开公司,两边都拿一手数据说话。

医疗,可能是唯一60年没变的职业

Neal开场的论断很直接:过去60年,计算革命改写了几乎所有行业,医疗是例外。

把今天的医生放回60年前,他照样能正常上班。诊室里多了核磁这类设备,可那也是70年代的产物。看病这个动作本身,从古至今都是同一套流程:花15分钟见医生,听一段建议。中世纪国王享受的待遇是御医多陪一会儿,今天的有钱人买私人医生,买的也是同一种东西。

医疗行业唯一的调节杠杆,就是医生的时间。谁买得起更多时间,谁就得到更好的照护。

所以Neal的愿景是:假如世界上有一个人对你的病最懂,那个人应该全天候对你开放。

未来每个人掏出手机,就能获得接近顶级水平的个性化医疗知识,边际成本接近零。

这件事在美国有意义,在更大的世界上意义更大。全球80亿人,绝大多数终其一生得不到梅奥诊所级别的照护。AI如果真能把顶级医疗知识做成软件那样复制,改变的是供给曲线本身。

他还提到一个更长期的工程:医疗需要一套基础设施,把病人身上发生了什么、做了什么治疗、结果如何,长期记录下来,再在诊疗现场变成决策支持。犹他州因为摩门教人口世代定居、早早用了电子病历和家谱数据,成了少数有纵向数据的地方,而世界其他地方连雏形都没有。

具体到产品形态,Neal的判断是,病人获得医疗知识向来只有两条路:见医生,或者自己上网查。谷歌、Reddit、健康论坛,信息没经过校验,病人也不知道该信哪条。这两条路迟早会合成一条。他举了个例子:联合主持人Eric Torenberg每天吃鱼油,他的医生大概率根本不知道这件事,因为15分钟的门诊根本聊不到这些。

未来这个入口就是一个文本框。你说出困扰,系统做的第一件事是反问:为什么想吃鱼油?试过别的吗?甘油三酯高不高?先搞清楚目标,再往下钻。这套追问能力,恰恰是所有搜索引擎都给不了的。

GPT-4当医生,已经是什么水平

先说Neal自己的用法。他承认,自己现在大部分医疗咨询就是打开ChatGPT,用GPT-4问。健身时听到什么补剂,第一反应是问模型。他强调这不推荐给不了解风险的人,但他的评价是:比约医生快多了,而且相当靠谱。

他团队里有一位在斯坦福兼职出诊的医生,坚持把这些工具带进诊室,反复说这件事让他成了更好的医生。

量化数据更狠。今年1月有论文显示,GPT-3.5已经能通过美国医师执照考试(USMLE);GPT-4发布后,微软正式报告的成绩已经超过普通医生。Curai自己刚发布的论文,又把最好成绩往前推了一截。顺带一提,这场对话录制时,GPT-4才发布一个多月。

但Neal花了很多口舌讲这套考试的问题。USMLE的题目是这样的:一位67岁膀胱移行细胞癌患者,新辅助化疗一周后出现耳鸣,问药物的作用机制是抑制胸苷酸合成、抑制蛋白酶体,还是另外三个选项之一。

现实里没有医生是拿着五个选项看病的。病人坐在你面前,答案得从脑子里凭空长出来。所以Curai在评测里做了一件狠事:把选择题的选项全部删掉,让模型自己作答,再用另一个模型判断开放回答和标准答案是不是同一个意思。他们管这套指标叫GPT recall和GPT precision,比如模型答「高胆固醇」,标准答案是「胆固醇超过200」,得算对。

难度上去了,成绩反而还在涨。Nathan补了一个反向观察:有些2021年写的旧评测脚本,用少样本示例逼模型直接选选项,会低估GPT-4的真实水平;而选择题本身又会高估它。两头都失真。

Neal还讲了为什么医疗AI过去做不成。早期的思路是建一张巨大的对应表,症状映射到疾病。问题是真实世界太乱。一个人乳糖不耐受,病历里可能只写了「吃麦片不舒服」,因为病人从来不会说「我喝了牛奶」。人脑能自动完成这种抽象和泛化,符号系统不能。语言模型第一次让机器具备了这种能力。

还有一点:诊断是动态的。病人进来是一个初步判断,多问几句变了,一周后检查结果出来又变了。模型必须能跟着信息滚动更新,而考试题全是静态快照。

工程上还有个细节:哪怕病情简单的病人,聊上几轮,历史数据也会超出模型的上下文窗口。所以得给既往数据建索引,在对话中实时检索,把最相关的部分喂进窗口。

两个GPT-4互相挑错,又刷出新纪录

Curai那篇论文叫Dialogue-Enabled Resolving Agents,思路说穿了很简单:同一个GPT-4开两个实例,一个当「决策者」,拿到病例给结论;另一个当「研究者」,专门负责挑刺,质疑决策者的每一步推理。两个模型进入苏格拉底式的对话,最后得出更靠谱的答案。论文原名更直白,本来叫「学生和老师」。这套方法在多个医疗任务上刷出了当时的最优成绩。

直觉上这讲不通:两个一样的模型,失败模式应该一样,凭什么能变好?Neal的解释是,模型的状态空间太大,真正的问题是把正确的知识从模型里「引」出来,两个实例对话就是一种引出机制。他提到有新研究认为,链式思考里的推理能力来自模型内部变量的局部聚类互相影响,这个方向还很年轻。

更反直觉的是组合方式。按机器学习的老经验,集成学习要用不同的模型才有独立失败模式。但Neal说他们试下来,多个GPT-4实例互相配合,效果比混搭GPT-4、GPT-3和Bard更好,这和他的直觉相反。

Nathan把这套思路类比到国际象棋的深蓝:深蓝把大量算力花在对局时的搜索上,而今天的大模型把算力都花在训练阶段,推理时一个token一个token地吐。多个智能体对话,等于把算力重新搬回到运行时。Meta那个玩外交游戏的Cicero,走的也是类似的路子。

还有一个让Neal自己都吃惊的发现:GPT-4能直接读懂连续血糖监测的数据。那是一张血糖随时间变化的曲线图,模型大概率从没见过真实的血糖时间序列,但它能说出「下午1点病人血糖冲到170,说明中午吃了一顿高碳水」。没见过的数据类型,靠泛化就能处理个八九不离十。多模态他也期待:一张皮疹照片,加上病人自己的描述「又痒又脱皮」,两种信息合成起来,判断力会超过任何单一模态。

三盆冷水:OpenAI、数据护城河和专用模型

聊到商业,Neal给了三盆冷水。

第一盆:OpenAI遥遥领先,而且差距不小。他试过谷歌的模型,也试过别家的,点名时只愿意损谷歌,别家懒得提。如果你要的是纯粹的智力性能,不用OpenAI就是在做牺牲。除非你的场景像文案生成那样性能已经够用,否则自训模型或开源模型省下的钱,抵不上损失的智力。

第二盆:数据护城河靠不住。模型的少样本学习能力太强,给它10个、100个、撑死1000个人工标注的样本,就能泛化到那个任务上,做到你有100万条数据时的九成水平。除非你的场景必须99%的性能,否则一百万条数据挡不住别人标一千条。最后竞争还是回到用户体验和分发渠道上。有公司拿着血糖数据当核心优势,而GPT-4连没见过的血糖曲线都能读,这种护城河的成色可想而知。

第三盆:领域专用模型被高估了。他举了个真实病例:病人去了火人节(Burning Man),回来肺疼。只喂过病历和生物医学数据的专用模型,根本不知道火人节是什么,更不知道沙漠粉尘会进肺,还有沙漠里那种罕见真菌感染。通用模型见过整个世界,所以能提出正确假设。世界很大,世界很乱,病人的线索藏在生活的细节里。

他还在推一个叫「目标导向医疗」的方向,思路接近AutoGPT:病人想减重,想控制糖尿病,系统带着这个长期目标,主动跟病人保持互动,一路跟进。这在大模型出现之前想都不敢想。

医生签字,就是当下的护城河

Curai现在的产品长这样:消费者端每月14.99美元,匹配一位医生,获得持续照护;但重心在机构客户,跟医疗保险公司和医疗系统合作。

「大势已定。接下来三年,大多数病人寻求医疗建议的起点会是ChatGPT。」

这是Neal的原话。就像过去十几年大家先用谷歌搜症状,这次更危险,因为有人可能在ChatGPT上自助问诊之后,压根不再去看医生。保险公司还关心另一件事:如果ChatGPT随口让病人去看神经科,而神经科很贵,谁来把关这个转诊是不是真的必要?

所以他们的方案是让医疗系统主动接住这个趋势。他拿斯坦福医疗虚构了一个例子,特意说明这还不是他们的合作方:病人下载医疗系统自己的应用,点「立即就诊」,先由一套基于大模型的系统接待,问诊、分诊,处理掉大约80%的工作量;剩下20%,尤其是开药、开检查单这些决定,交还给医生。医生那头也有一套工具,自动整理病历、自动随访、自动生成护理计划。目前只有5%的用户接入了新模型,正在逐步放开,三个月内计划覆盖95%以上。

质量控制上,Neal提到了一件大多数同行还没做的事:给医疗AI建单元测试和回归测试。语言模型是非确定性的,还会因为微调和人类反馈不断变化,今天抗生素场景处理得好,明天模型一更新突然失灵,这种事不能等到发生了才知道。Curai建了一大套临床测试用例,每次改动都跑一遍,看模型在常见病例上的表现有没有漂移。Nathan说OpenAI最近开源的评测库算是露出了一点苗头,但Curai在这条路上起码深了十倍。

安全护栏是另一块重活。监管要求摆在那里,语言模型不能直接给病人开药,处方必须出自医生之手。心理健康更要单独设防,Neal提到前阵子的一则新闻,有人自杀,伴侣认为和长期跟聊天机器人对话有关。这类风险是真实存在的,护栏必须建在模型外面。另外,GPT开箱即用并不符合HIPAA(美国医疗隐私法规),哪些环节能用它、哪些环节必须换方案,Curai内部划得很细。

监管上,Neal的立场很清晰:只要有医生监督,这套东西就该按「决策支持」来监管,最终责任在医生。想让AI完全自主执业,那就走医疗器械的路子,拿证据换审批。他举了IDx-DR的例子,这套系统筛查糖尿病视网膜病变,拿到了FDA的完全自主审批,证明这条路走得通,但证据门槛应该很高。

还有一个伦理难题正在逼近:医疗事故的判定标准是「当时当地的普通医生会怎么做」。而大模型最擅长的就是给出平均水平的表现,它可能已经达到了这个标准。自动驾驶有「完美驾驶」可以对照,医疗没有,只有标准照护。这个问题迟早要摆上台面。

至于跟纯AI产品竞争,Neal觉得不构成威胁:ChatGPT让你休息加冰敷,没问题;让它给你开瑞舒伐他汀,它开不了。处方、调药、开化验单、解读报告,在美国都得医生签字。把事情办完,比把话说对值钱。

越穷的国家,越需要它

有一份调查数据Neal专门提了:对AI最乐观的,恰恰是最穷的那些国家。道理不复杂,印度十亿多人口,根本没有足够的医生服务他们,AI是唯一可能补上缺口的办法。

但现实障碍很具体。问大模型「这个病人该开什么药」,它会给出一份美国视角的标准答案;印度的药品供应链很窄,那个答案可能根本开不出来。健康素养也是问题,很多病人说不清自己的症状。

他用星巴克打了个比方:在美国做这件事,等于要盖一整座星巴克,复杂得多,但价值也大得多,因为能自己收数据、做人类反馈、做微调,长期会积累出真优势。在有些市场,只需要把咖啡冲好递出去。

各国的路径他都有判断。中国可能半年内人手一个大模型,医生被甩在后面,他半开玩笑说想想都吓人,长期会做得很好,短期可能付出代价。英国NHS是个庞然大物,内部已经在漏水,理论上最需要AI,但官僚体系转不动,好在心理健康这种极度短缺的领域已经有Limbic这样的公司在做AI分诊。美国的好处是入口多,总能找到地方先跑起来、攒证据。

最极端的场景在欠发达地区。Last Mile Health的创始人Raj Panjabi在做的事,是培训非洲的高中毕业生,教会他们当地最常见的十种病怎么处理,就这么把基础医疗铺开。在医疗资源接近于零的地方,这些系统的部署是一种道德义务,哪怕它还不完美。

最后,把这场对话里明天就能用上的东西列出来。

  • 把GPT-4当第二意见用,但别当处方来源。问症状、问体检报告里指标的含义、问要不要去看专科,它答得相当好;问的时候让它先反问你几个问题再下结论,好答案来自追问。凡是涉及开药、调药,还是得见医生。Neal自己就是这么用的,同时他也反复强调,不了解风险的人别学他。
  • 看病时主动交代你在网上查过什么、在吃什么。医疗最大的缺口是纵向数据。你吃的鱼油、你试过的偏方,医生都不知道。主动说,就是在给未来的自己攒病历。
  • 别迷信「医疗专用」的招牌。通用大模型加上真实世界知识,在Neal的实测里经常强过只喂过病历的专用模型。评估一个医疗AI产品,先看它有没有医生监督、有没有成套的质量测试,再看它宣传的独家数据。

对话结尾,主持人问他愿不愿意植入脑机接口。他先开了个玩笑,说自己最想要的发明是能记录入睡前灵光一现的设备,然后正经回答:不知道。他的原话是,接下来10年、15年、20年,社会会有足够多的认知基础设施替我们做事,到时候每个人都得自己回答一个问题:精神上的满足,对你意味着什么。

Nathan and Erik sit down with Neal Khosla, founder of Curai Health, a venture-backed virtual care startup using AI to provide low-cost primary healthcare. Prior to his current role at Curai, Neal was a machine learning researcher at Google and Stanford. In this episode, they discuss the current state of AI in medicine, what the future patient experience may look like, and how developments in AI healthcare may interact with different regulatory and social forces across the globe.

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

RECOMMENDED PODCAST:
The HR industry is at a crossroads. What will it take to construct the next generation of incredible businesses – and where can people leaders have the most business impact? Hosts Nolan Church and Kelli Dragovich have been through it all, the highs and the lows – IPOs, layoffs, executive turnover, board meetings, culture changes, and more. With a lineup of industry vets and experts, Nolan and Kelli break down the nitty-gritty details, trade offs, and dynamics of constructing high performing companies. Through unfiltered conversations that can only happen between seasoned practitioners, Kelli and Nolan dive deep into the kind of leadership-level strategy that often happens behind closed doors. Check out the first episode with the architect of Netflix’s culture deck Patty McCord.
https://link.chtbl.com/hrheretics

FEEDBACK 
We'd love to hear your feedback or answer any listener questions live on an upcoming episode. DM @labenz on Twitter or email us at Info@turpentine.co with "TCR" in the subject line.
We'd appreciate it immensely if you left us a review on Apple Podcasts or a rating on Spotify!

TIMESTAMPS
(00:00) Preview
(04:32) The future of AI in medicine
(12:50) Patient experience in AI-driven medicine and the current state of AI in medicine
(15:04) Sponsor: Omneky
(20:34) Building the LLM architecture for medicine
(25:25) Current state of the art for AI in medicine
(28:54) Evaluating LLM performance in medicine
(31:49) Benchmarking LLMs in medicine
(39:17) Using the Socratic method in training LLMs
(43:57) Multimodal systems and deploying multiple models in medicine 
(51:30) The future of LLM creation and usage
(59:47) The interaction of AI medicine with social and regulatory forces
(01:11:00) AI adoption in countries with centralized healthcare systems
(01:13:37) How should we regulate the usage of AI in medicine?
(01:16:57) AI-first systems in medicine
(01:18:19) Is there an obligation to deploy AI in medicine in its current state?
(01:20:48) Neal’s favorite AI products
(01:22:21) Would Neal get a Neuralink implant?
(01:24:54) AI hopes and fears

TWITTER:
@CogRev_Podcast
@nealkhosla (Neal)
@labenz (Nathan)

SPONSORS:
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive

Thank you Omneky for sponsoring The Cognitive Revolution. Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work, customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.

More show notes and reading material released in our Substack: https://cognitiverevolution.substack.com

本集资源与出处