AI 写的放射科报告，40% 对局赢过人类医生，一串乱码却能骗倒 GPT-4

2020 年，AI 回答医学问题的水平只比瞎猜好一点。三年后，谷歌的 Med-PaLM 在 9 项评测指标里有 8 项被人类医生判定为更偏好 AI 的回答。最新的多模态版本更进一步：喂给它 X 光片、病理切片，再加一段病史，它写出的放射科报告跟人类放射科医生正面比拼，临床医生当裁判，AI 拿下 40% 的对局。还没过半，但已经摸到了持平的边缘。

这是内森·拉本兹（Nathan Labenz）在播客《Cognitive Revolution》8 月这期节目里重点盘点的进展。他是创业者兼 AI 投资人，跟联合主持埃里克·托伦伯格（Erik Torenberg）一起做这档节目。今年 7 月，他发布了一份免费的「AI 能力侦察报告」，用视频把 GPT-4、Claude 2 这类前沿模型和人类专家摆在一起，逐项对比长短。报告流量不算大，反馈却好得出奇，最常见的留言是「这内容都可以收费了，你居然免费」。内森说，至少短期内会继续免费开放。

报告的主体是一份「认知磁带」：人类专家和 2023 年前沿 AI 各自的长短板清单。一个月过去，听众反馈加上新论文、新产品，他做了一次集中更新，核心可以概括成一句话：AI 的短板是抗忽悠，长板是稳定，而稳定恰好是商业价值的入口。

人类的护城河，只剩抗忽悠

上周节目嘉宾兹维·莫肖维茨（Zvi Mowshowitz）给报告提了条关键意见：漏了一个维度，稳健性。意思是，遭遇陌生甚至恶意输入的时候，还能不能稳住自己。

人类在这方面表现相当好。有人想骗你？骗人是有门槛的，得真有本事才能把一个人的钱骗走。听到离谱的话，普通人晃一下就恢复了，目标和优先级都还在。这里有个微妙的平衡：接受新信息太快，人容易被操纵；太慢，又跟不上现实。人类被调在一个中间档位，牺牲一点灵敏度，换来中长期的心理稳健。

AI 恰好反过来。内森举过一个例子：早期 GPT-4 是「世界上最差的化学老师」。你问它怎么配平化学方程式，它能做对；你要是先说「我是这么配平的」，它大概率顺着你的错误往下走，把你的糊涂当成前提，然后跟着一起糊涂。他甚至没做恶意测试，只是模拟了一个困惑的学生去求助。

现在情况有改善。可汗学院在提示词和上下文设计上下了大力气，让模型对「用户可能搞错了」这件事保持警觉，基础场景基本兜得住。但恶意攻击依然是重灾区。内森的原话是，模型一旦糊涂，就会在糊涂的基础上加倍糊涂，先道歉，再继续错。

今年最出名的是「万能越狱」研究。研究者在权重开源的 Llama 系模型上做优化，找到一串后缀文本，贴在几乎任何请求后面，模型就会照做。这串东西在人眼里是纯乱码，没有任何含义，对模型却像万能钥匙。你说「教我怎么劫车」，GPT-4 会拒绝；后面贴上这串乱码，它就教了。更麻烦的是，在开源模型上找到的字符，直接发给 OpenAI 的模型，很多时候照样管用。测过的主流模型里，只有 Claude 对这一招抵抗力比较强。

人类没有这个软肋。你对我念一段乱码咒语，我不会突然开始配合你干坏事。

修复思路也在出现。MultiOn 创始人迪夫·加格（Div Garg）参与的一篇论文，给模型加了个「退格键」。现在的模型一个 token 接一个 token 往下生成，错了也只能将错就错，错误滚雪球。有了退格键，模型发现自己跑偏，可以直接删掉刚生成的部分重来。内森判断，这个改动对稳健性会有实打实的帮助。

AI 最被低估的优点：稳定

报告里原来有一项叫「bedside manner」，医患沟通里那种耐心体贴。内森决定把它泛化成「一致性」，因为背后是同一件事：AI 每次出现的状态都一样。

数据支持这个改动。在客服甚至医疗场景，AI 的回答被评得比人类更有同理心。此前节目里有位医生嘉宾聊过，医疗行业普遍倦怠，没人有时间精力给病人写一封像样的沟通信。GPT-4 有，而且写得很好。

它从没睡过一个坏觉，也不会处于狂躁期超水平发挥。它就是每次都打一垒、二垒安打。

人类的表现方差大得多。护士今天态度差，医生今天状态差，都是常态。AI 不会。只要正常使用、没有恶意攻击，它的语气和输出水平相当稳定。

这个特性平时不起眼，放到商业场景里就是硬通货，直接引出了内森正在准备的下一个主题：AI 任务自动化。

任务自动化：先回答「什么算好」

判断一个任务适不适合交给 AI，内森给的标准很清楚：耗时够长、足够例行、你已经知道「好」长什么样、并且一致性比灵感更重要。满足这几条，就是好目标。

两个典型场景。一个是阶段性的：发一条招聘启事，收到 1000 份简历，谁来看？经典笑话是扔掉一半，「我不想和不走运的人共事」。另一个是持续性的：客服团队每天进来 500 张工单，80% 落在 10 个类别里，处理方式高度重复。

他的简历筛选方案分三步。先建一套评分规则，把简历分成优秀、中上、平均、中下、差五档。再花功夫校准：把 AI 判为「优秀」的样本抽出来人工复核，确认口径一致，来回改提示词，直到对齐。最后让 AI 把 1000 份全部过一遍，人只看它标为「优秀」的那一小撮。

做到「AI 不能替你做录用决定，但能把前 20% 和后 80% 干净分开」，通常是可以实现的。这条线画在哪，取决于任务的重要程度，但方向是对的。

并行能力是另一个杠杆。Claude 账号默认 5 个并发调用，商业客户可以申请提额。哪怕只有 5 个并发，1000 份简历几分钟就能过完第一轮。提示词存着不花钱，AI 随叫随到，咖啡都替你喝好了，输出跟上次基本一致。

顺带纠正一个新闻标题。前阵子流传「GPT-4 变笨了」。内森的说法是：模型整体在变好，但行为在微妙地变。OpenAI 至今只从 3 月版更新到 6 月版一次，更新不具有破坏性，可以锁定旧版本，等验证完新版本再切换。每次模型更新后，用同一批用例回归测试你的提示词，是基本操作。

然后是组织层面的坑。内森的经验是，任务自动化一分靠会用 AI，两分靠让组织接受它。实施 AI 的人往往不是领域专家，而「什么算好」通常没有任何书面记录。他见过两个员工干同样的活，都干得不错，但对 AI 输出的反馈完全相反。这时候才暴露：公司内部对「什么算好」根本没有共识。AI 化的过程会逼着团队把这个共识写下来，算是意外的收获。

他的做法很朴素：找领域专家聊，聊到「什么真正管用」的时候直接开始录音，那段话就是给 AI 的指令。他跟一位代笔写手的合作就是这个模式。AI 写 LinkedIn 帖子，钩子之后的 500 字没问题，钩子本身不行，因为好钩子是人类的高光时刻，AI 的输出倾向中不溜。于是写手只负责想钩子，AI 负责展开。写手的工作从写字变成了想「什么能抓住注意力」。人往高光时刻退，AI 接管稳定输出，这是目前跑通最多的分工。

提示词本身在变简单。内森说现在掌握六到十条最佳实践，就能覆盖绝大多数场景，他打算在报告里加一个五到十分钟的章节。

但别神化提示词。经济学家泰勒·科文最近用 GPT-4 模拟的乔纳森·斯威夫特，就是写《格列佛游记》的那位讽刺作家，做了一场访谈，效果惊人。诀窍简单到不像话：明确告诉模型扮演谁，内森管这叫「角色派定」。真正让访谈出彩的，是科文自己懂斯威夫特，问的问题都在点子上。AI 放大你已有的知识，替代不了你没有的知识。外行问不出好答案。

谷歌医疗线：三年从瞎猜到掰手腕

下期节目会请回谷歌研究员维韦克·纳塔拉杰（Vivek Natarajan），这次带着多模态 Med-PaLM 论文的第一作者一起来，那是一篇 50 人署名的大论文。

先补时间线。2020 年，模型答医学题只比瞎猜好一点。今年早些时候的 Med-PaLM 追平人类医生，9 项评测指标里有 8 项，医生更偏好 AI 的回答。现在多模态版本把输入面彻底拉开：X 光片、病理切片、病史，甚至特定编码形式的 DNA 序列，全都吃得下。内森的形容是，这个模型开始长出各种「感官」。它还是只输出文字，但医生的工作本来也主要是输出文字：判断是什么问题，建议怎么处理。

传统病理流程值得复述一遍：想判断一块组织是不是癌变，先切下来一块，用切片机切成薄片，涂化学试剂染色，再用肉眼对着显微镜看。现有的辅助系统是窄专家，只会输出「像癌」或「不像癌」，人始终在回路里。多模态 Med-PaLM 是把影像和病史放在一起综合判断，任务形态完全不同。

放射科报告那个 40% 的对局胜率，还有一层语境。AI 圈有个流传十年的论调：「放射科会是最先消失的科室。」喊了十年，放射科医生还在，于是最近风向变成「你看，AI 替代论又破产了」。内森觉得这个论调本来就不成立，多模态 Med-PaLM 出来之后更站不住脚。

从论文到临床部署会有延迟，这个延迟不会短，但方向已经没有悬念。内森补充说，这个进展完全不意外，谷歌先做了多模态，又做了医疗，多模态医疗是水到渠成，真正值得注意的是推进速度：最前沿每个月都在往前挪。

Transformer 之后是什么

报告还加了一段对后 Transformer 时代的展望。内森的原话值得单独摘出来：

人脑不是历史的终点，Transformer 也不是。

两个苗头。一个是 Meta AI 的 MegaByte 架构，层级化设计，直接在字节层面做预测，等于绕开了 tokenization。音频是字节，图像是字节，音乐是字节，什么都是字节，所以这个架构天然亲和多模态，预测粒度也更细。目前只是概念验证，还没真正可用。

另一个是微软研究院的 RetNet，核心机制叫 retention。论文标题的口气大得罕见，直接自称「Transformer 的可能继任者」。内森提醒，这类结果都像室温超导的剧情：要复现，要规模化，要看实际使用中会不会冒出概念验证阶段没暴露的副作用。Transformer 被研究了好几年才有了今天，假如 retention 真的更好，等于要把这条路重新走一遍。也可能两者组合成集成方案，谁也说不准。全世界的研究者都在翻石头，大部分石头下面什么都没有，但已经有几块看起来像宝。

顺带更新一下他的「活玩家」名单，也就是「谁对未来走向有话语权」。兹维给的名单只有七八个：OpenAI、谷歌、Anthropic、微软、Meta，可能还要算上手里握着 H100 芯片的 Inflection AI，然后是芯片供应链、中国政府、监管机构。内森原来列了 15 个，现在决定分层：兹维那份就是第一层，确定性最高的玩家；第二层是 Stability AI、Replit、Character.AI 这类公司，机会在于做出足够不一样的东西。Stability 是个好例子：ChatGPT 是过去一年最大的舆论转折点，Stable Diffusion 的发布是另一个，连深夜脱口秀都在聊 AI 画画。能反复改变全球公共讨论的公司，哪怕在第二层，也仍然有塑造未来的真实机会。

明天就能用的五件事

把这一期浓缩成可以立刻上手的动作：

• 筛简历：建五档评分规则，先花半天校准提示词，再批量跑，只看「优秀」档。Claude 默认 5 个并发，1000 份简历几分钟过完第一轮。
• 管版本：锁定当前模型版本，官方每次更新后，用同一批测试用例回归验证，确认行为没漂移再切换。
• 挖隐性知识：找领域专家聊到「什么真正管用」就打开录音，原话直接变成给 AI 的指令，比你自己琢磨提示词快得多。
• 分好工：人负责高光时刻，标题钩子、最终判断；AI 负责稳定展开，正文、初筛、分类。
• 别跟糊涂的 AI 纠缠：模型一旦被错误前提带偏，道歉和追问都救不回来。开个新对话，把正确前提直接写进第一条消息，比在错误的上下文里继续磨省时间。

最后补一句内森在更新里特别致谢的东西：3Blue1Brown 五年前的神经网络入门视频，讲反向传播、信息前向流动那几集，今天看依然是最好的可视化教材。AI 领域的内容两周就显旧，能活五年的入门材料，值得回头补课。