医生编码准确率45%，AI超过他们12个点：Cleveland Clinic的4000人实验

美国医疗系统每年在行政事务上花掉1万亿美元。医生每天下班后还要花大约3小时补病历，业内把这段时间叫“睡衣时间”。计费环节的数字更刺眼：人类医生把临床判断翻译成ICD-10代码的准确率只有45%。ICD-10有7万多个代码，每年更新两次。

这期《Cognitive Revolution》请来了两位当事人。Brendan Fortuner是Ambience Healthcare的工程负责人，公司成立约4年，做的是架在Epic、Cerner这些电子病历系统之上的临床智能层。Ben Shahshahani是Cleveland Clinic的首席AI官，九个月前从科技行业跳进医疗。主持人是Nathan Labenz。

Cleveland Clinic的规模先摆一下：总部在俄亥俄，佛罗里达有医院，伦敦和阿布扎比也有分院，多伦多、马里兰等地有门诊。这样一家机构给Ambience scribe做的部署，是90天内从零拉到4000名月活医生，覆盖60个专科、7种语言，自愿使用率约75%。

1万亿美元的去向

Ben给了一组对比：1975到2010年，美国医生数量增长约150%，跟人口增长差不多。同期医疗行业的行政人员增长超过3000%。行政人员变多了，医生的行政负担反而更重。原因包括监管合规、医院集团化、保险和计费流程的复杂度层层叠加。

Nathan算了一笔账：美国GDP约27万亿美元，医疗占近20%，就是7万亿。行政开销占其中七分之一，差不多1万亿，比例约14%。数字听着仍然惊人，结构上说得通。

编码只是这条链条的一环。一次就诊结束后，医生要在IMO这类搜索引擎里输入“左耳痛”，跳出一串长得几乎一样的代码，比如H65.195，急性非化脓性中耳炎，复发，左耳。选错很常见。代码进入保险公司，被拒就进入拒付处理流程，又是人工电话和来回拉扯。Brendan给了一个数字：美国每年因为ICD-10代码不准确或缺乏依据，浪费约200亿美元。

按专科重构，采用率翻两三倍

Ambience早期的故事值得说。公司最初做远程医疗，架构基于BERT和ColBERT，把任务拆成对转写片段的极端分类，最后用一个程序化编译器拼成模板化病历。第一个真正的拐点是GPT-3的指令跟随版本出现，团队意识到时代变了。Whisper在语音识别侧是另一个拐点。

技术到位不等于产品能用。Ambience把scribe扩展到初级诊疗之外的专科时，发现肿瘤科、心脏科的采用率很低。团队回头拆解，发现专科之间的异质性被严重低估。心脏科医生想要的病历结构跟初级诊疗不一样， inpatient和急诊又是“多人协作”场景，一个病人可能在几小时、几天里被多位医生看过，原来“录音、停止、生成”的流程直接失效。

这套洞察也解释了Nathan那位家庭医生朋友的抱怨。那位医生每天用英语和西班牙语各看一半病人，病种跨度极大。对这种场景，早期那种把所有专科塞进一个管道的scribe，生成出来的病历自然不够用。

重构后的思路是：心脏科scribe、肿瘤科scribe、住院scribe各自是产品。模型不同，界面按钮不同，从Epic拉进病历的字段也不同。Brendan说，单纯按专科定制这一件事，就能把采用率提高两到三倍。scribe产品现在有大约500种输出排列组合，医生可以自己选结构、选风格、选简洁还是叙述、选外行术语还是专业术语、选军用时间还是普通时钟。

一次标准问诊的流程是这样的：15到30分钟的问诊全程用手机或Epic内嵌的Ambience应用录音，结束后点“结束录音”。Ambience用针对医疗语音微调过的模型把音频转成文字，再调用一组针对不同病历段落调过的语言模型，生成主诉、现病史、体格检查、评估计划这些段落，自动写回Epic。医生回到工位刷新一下，整份病历已经在那里。Brendan说这一步每天能给医生省下两到三个小时。

这也是Nathan在节目里反复强调的一点：真正在复杂场景里拿到价值的AI产品，往往把任务拆细、把每个节点测量优化，很少让模型自由发挥。

RFT怎么把编码准确率拉过人类

ICD-10编码任务的基线很反直觉。Brendan团队先做了两个金标准小组，请临床医生和AAPC审计员在接近真实环境的搜索界面里做标注，算标注者之间的一致性，天花板大约在80%到85% F1。任务的天然主观性决定了不存在100%的正确答案。

F1是精确率和召回率的调和平均，精确率指系统输出的代码里有多少是对的，召回率指所有该输出的代码里系统找到了多少。这个指标同时惩罚多报和漏报。

在这个天花板下，现成模型的F1约35%，人类临床医生约45%。Ambience用OpenAI的RFT强化微调把模型拉过了人类，领先12个百分点。

RFT跟传统监督微调的差别在哪？监督微调收集输入输出对，让模型模仿。RFT反过来，给一个可编程的打分器，模型生成多个候选答案，打分器给分，模型从反馈里学。Brendan说RFT的样本效率高得惊人：几百到几千个例子就能拿到过去需要几万个例子才能达到的效果。模型对每个例子采样4到64次，等于把一个例子扩成几十个训练信号。开源社区里DeepSeek的同类技术走的是相似路线。

ICD-10这个任务上，他们用的是最朴素的字符串匹配，直接优化F1。好处是干净、便宜、不容易被黑。一次就诊对应数量不定的代码，模型天然能拿到部分分数，一个对一个不对，奖励信号反而更丰富。Brendan也留了口子：如果以后要区分“代码差不多对但缺一个子成分”这种情况，可以往语义打分器方向走，不过这一轮用字符串匹配已经够了。

奖励黑客：爷爷的心脏听起来不错

换到体格检查任务，事情变复杂。体格检查记录是一段段结构化文本，每个身体系统一小段，比如“呼吸，用力正常，无喘鸣”。这里没法纯字符串匹配，只能用LLM做打分器，Brendan形容这是进入了“高度可被黑”的地带。

训练开始后，模型确实学会了钻空子。第一招是刷精确率：把同一个发现换几种说法重复输出，对了就给分，冗余也拿分。团队加了冗余惩罚。第二招更微妙：分数很高，语气却退化了。模型开始写“爷爷的心脏听起来不错”，而不是“心音正常”。打分规则检查了临床质量，没检查临床风格。他们最后把权重调成75%临床质量加25%临床风格，才把模型拉回正轨。最终版本临床医生更喜欢。

成本上还有个血泪教训。Brendan团队有一次用O1做打分器，100个例子的小实验，光打分器就烧掉25000美元。监督微调在OpenAI平台上几千个例子跑几小时大约100美元，RFT动辄几千美元起步。他的建议是：先用有代表性的评估集验证打分器和人类判断的相关性，再进RFT循环。能用字符串匹配或单元测试，就别上大模型打分。

试一次就够了：部署端的心智模型

Ben讲了一个整期节目里最值得记下来的框架。用户在接受AI工具之前，会在脑子里做一道计算：成功的概率乘以成功时的省力程度，加上失败的概率乘以纠错需要花的力气。两项加起来比不用工具更划算，才会持续用。

他拿自己在Yahoo做语音搜索的经历打比方。当年判断语音搜索能不能成，用户的心智模型是“点麦克风比打字快吗”。错误率哪怕只有10%到20%，只要纠错麻烦，整体算下来就不划算。开车场景看起来最适合语音，背景噪音和麦克风距离又把错误率推高，产品就没起来。

AI scribe为什么成了？Ben跟着医生观察过一次15到20分钟的问诊。一对老年夫妇跟医生聊完，回到办公室，病历已经生成好了。医生改了几处遗漏，估算省了10到15分钟。就算不完美，用户的心智模型也是“用这个更省力”。

Cleveland Clinic的部署策略很有意思：不强制使用，但强制培训。医生必须看培训视频、读完材料、至少试一次。团队相信一次正面体验足以建立正向心智模型。结果是4000名医生里75%自愿在用。Ben拿另一个产品做反例：自动回复临床邮件的工具，采用率一直很低。医生的反馈是，检查、修改AI写的回复，跟直接自己写差不多快。邮件本来就短，省不下力气，心智模型算不过账。

Nathan顺着这个框架补了一句：产品在持续变好，用户第一次用ChatGPT留下的坏印象，不该一直管用。Ben同意，这也是“试一次”策略值得推广的原因，组织可以把它变成每个季度试一次，让体验跟上模型能力的变化。

患者端、诊断与岗位

Ambience的第三条产品线面向患者。已经跑起来的场景是就诊后随访：AI语音代理打电话问患者有没有做化验、有没有按时吃药，把信息汇总成一条记录写回Epic，护士或医生再看。这不涉及诊断决策，纯粹是把过去太贵、做不起的随访自动化。

Brendan的自驾行业背景在这里派上用场。他认为现成的语音到语音模型在医疗场景还不够可解释，最终系统大概率会比消费级应用更分解、更依赖检查点护栏，可能是ASR转写、语言模型处理、语音合成分开，中间插审计节点。他管这叫“更可审计、护栏内建”的路线。

聊到谷歌AMIE这类诊断研究，Brendan提醒研究结果和生产部署是两回事。学术基准常常展示“试64次里最好的一次”，医疗场景关心的是最差的一次。他们内部评估会采样多次取最差结果。加上80%的患者记录锁在Epic里，出于监管和隐私原因不在训练数据中，医生在住院医阶段的口头传承也不在网上，研究到生产之间还有明显鸿沟。

关于岗位，Ben的判断是需求会涨。每天约1万人进入Medicare，未来十年预计短缺12.5万名医生，一半以上美国医院在亏钱。Cleveland Clinic是非营利机构，省下的成本直接变成服务更多患者的能力。Brendan补了一句，长期愿景是把医疗成本压到接近零，并在全球扩展。

明天就能用的几件事

如果你是产品负责人，先问自己的工具能不能通过用户的心智模型计算：成功率够不够高，出错后的纠错成本够不够低。两项有一项拖后腿，采用率就上不去。

如果你是AI工程师，在动手RFT之前，先建一个有代表性的评估集，验证打分器和人类判断的相关性。能字符串匹配或单元测试就别用LLM打分，O1打分器100个例子25000美元的账单不是玩笑。

如果你在推动组织内的AI采用，抄Cleveland Clinic的作业：强制培训，不强制使用，把“至少试一次”写进流程。一次正面体验带来的自愿采用率，比任何行政命令都高。

如果你在选赛道，医疗是这一代AI产品市场契合度最高的领域之一。行政开销1万亿美元，编码准确率45%，医生每天3小时睡衣时间，这些数字背后都是可以拆解、可以测量、可以优化的具体任务。