No. 140·精读

AI护士时薪9美元,GPT-4医考86分:这份AI侦察报告把现状讲透了

AI Scouting Report: NOT Investment Advice Edition

一期盘点式特辑,梳理AI在医疗领域的最前沿应用、需要掌握的关键概念,以及这些技术可能给社会带来的影响。

节目音频00:00 / 1:01:24
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

时薪9美元,能做术前随访、出院提醒、用药跟进,这是Hippocratic AI给AI护士开的价码。同一份报告里还有另一个数字:48%的顶尖AI研究者认为,AI导致人类灭绝的概率至少有10%。一边是按小时计费的廉价劳动力,一边是近半数业内人士承认的生存风险,两件事同时成立。

这两个数字出自《Cognitive Revolution》的一期特别节目。主持人Nathan Labenz是创业者(视频公司Waymark)、AI投资人,平时每周和前沿研究者深聊。这一期没有嘉宾,他把不久前给一群医生和律师做内部分享的内容搬上播客,取名“AI侦察报告,非投资建议版”,从医学现状讲到模型原理,再讲到钱往哪放。他还顺带提到自己新参与了一家叫Stellus AI的公司,专门帮50到1000人的中小企业用AI,第一个项目是给一家水管零件供应商,把书架上几十年的纸质零件目录变成随时可查的系统。

医学:AI已经摸到专家的天花板

Labenz先给了一个基础判断:从2022年起,最好的AI系统在普通任务上已经超过普通人。随便挑一个典型的白领电脑活儿,让AI和一名普通实习生各做一遍,AI的结果更好。这个状态已经持续快两年。

现在逼近的是下一层,专家水平。他强调“常规任务”这个词,意思是任务常见,而且大家知道好的标准长什么样,比如医疗里的标准诊疗规范。GPT-2在2019年发布,他陪妻子待产时在医院读到这条新闻,儿子今年刚满5岁。5年过去,GPT-4在MMLU测试(覆盖本科到研究生各学科考试)上平均拿到86分。单科比不过各领域专家,但让一个人类跨所有领域答完全部题目,GPT-4明显更强。

医学的例子更具体。谷歌的Med-PaLM在2022年12月首次明确通过美国医师执照考试,及格线在60分出头;3个月后,Med-PaLM 2考到86%。另一项评估让AI和人类医生同台答题,再由医生评委打分,共9个维度。AI在符合医学共识、阅读理解、知识回忆、推理这些好指标上全面占优;坏指标里AI只有一项更差,就是更容易带出不准确或无关的信息,其余所有坏毛病,人类医生犯得都比AI多。鉴别诊断研究里,不管按最严格的“一次猜中”还是放宽到前几次猜中,AI的准确率都全面高于初级保健医生。

Labenz的原话是:如果真遇到让我担心的病,我不会没有AI医生。当然也要有人类医生,两边交叉验证,取两者的长处。

还有两个容易被忽略的应用。一是虚拟组织染色:传统活检切片染色要几个小时,赶不上手术节奏;新技术让医生在手术室里几秒钟拿到染色图像,切肿瘤时可以实时看结果。二是“读脑”:用fMRI数据重建一个人当时看到的图像,早期解码一个大脑需要30到40小时的扫描数据训练,现在已经降到1小时。他的感慨是,放在小时候,这该是头条新闻,如今大多数人根本不知道这种技术存在。

反直觉的冲击顺序:医生律师先受冲击,水管工靠后

大家原本预期AI先替代低薪、低地位的工作,事实正好相反。有研究把职业按工资和地位分成五档,受冲击最大的是第四档,医生、律师都在里面;水管工、保洁的大部分工作落在曲线之外。粗略说,大约一半的人,有一半的任务AI可能接管。这个错位会让人调整很久。

商业化也在跟上。Hippocratic AI的策略很谨慎,完全不碰诊断,专做护士没时间做的随访类工作:术前沟通、出院指导跟进、确认吃药、询问感受。有意思的是收费方式,它按小时收费,9美元一小时,AI开始直接进劳动力市场定价,而非按token计费。软件的可复制性,加上劳动力市场的报价方式,这个组合以前没出现过。

边界在哪:从“没有尤里卡时刻”到“几乎没有”

常规任务之外呢?通用模型今天做不了新科学。AlphaFold那种为单一任务高度定制的系统是例外,ChatGPT这类通用系统面对全新、陌生、需要有人第一次想出办法的场景,表现不行。他原来的总结是“没有尤里卡时刻”,最近改成“几乎没有”,因为冒出了几个反例。

一个反例来自机器人。训练机械手转铅笔要用强化学习,需要人先写一个奖励函数给AI打分,这本身就是专家活儿,普通人连题目都听不懂。结果GPT-4写的奖励函数显著好于人类专家。另一个反例更近:有人用3000亿碱基对的细菌和噬菌体DNA序列训练模型,它能生成新的类CRISPR复合物,还能通过扰动模型、观察它的“困惑程度”来测基因对细胞存活的必要性。这类实验在传统实验室里非常繁琐,在计算机里几秒跑完。

三条腿的板凳:数据、算力、算法

Labenz说自己的内容是“无类比区”,AI的重要程度堪比DNA和自然选择,值得按它本来的样子理解。核心输入就三样:数据、算力、算法,缺一不可。

算法这边,所有系统本质是信息处理电路,单向、可微分,层层推进,和大脑各区域互相调控的运作方式完全是两码事。训练的核心是损失函数给输出打分,再用反向传播,也就是微积分的链式法则,回去问每一个参数:调高一点还是调低一点,能让总分好一点。GPT-3有1750亿个参数,这个问题要问1750亿次,循环往复,就叫梯度下降。想建立直觉,他推荐YouTube频道3Blue1Brown的可视化系列。

数据这边发生过一次范式转变。早期靠人工标注的小数据集,训练久了会过拟合,模型开始死记硬背训练集的怪癖。真正的解锁是设计出巧妙的损失函数,让海量无标注数据变成训练材料:下一词预测让全互联网的文本都可用,因为文本自带答案,词表有5万到10万个候选;图像去噪让所有图片都可用,先人为加噪声,再让模型复原。今天所有大模型都建立在这个转变上。

算力撑起了规模。GPU的价值在于大规模并行,1750亿个参数的调整没法一个个排队算。缩放定律(scaling laws)让研究者用小算力实验画曲线、外推大模型的效果。他举了个尺度感:6×10^18次浮点运算的实验已经不小,离白宫设定的报告门槛10^26次还差8个数量级。GPT-4训练用了约10万亿token,据报道光算力就花了数千万美元;传闻中的GPT-5预计用100万亿token,算力成本要几十亿美元。

规模上去之后,出现了更根本的现象:涌现。OpenAI早期只用亚马逊评论训练模型预测下一个字符,事后检查内部,发现一个神经元对好评强烈激活、对差评强烈抑制,单独拿出来就是当时最先进的情感分类器,而训练目标里从没出现过“情感”这个词。

“语义从句法过程中涌现。”(OpenAI总裁Greg Brockman)

类似地,只看棋谱序列的奥赛罗模型,内部学出了二维棋盘表征;视觉模型里没人设计过“汽车探测器”,它自己长出来了。模型从纯句法的训练过程中,学出了人类可识别的高阶语义概念,他说这是整期最该带走的一个观点。

还有个叫grokking的现象。模加法任务上,模型先死记硬背,验证集表现变差,按传统标准该停了;有人硬跑到100万步优化,模型突然从背题切换到掌握通用算法。反编译发现它用的是傅里叶变换和旋转圆圈,人类不会这么解题,但确实是个可靠的算法。损失可以预测,具体能力何时涌现无法预测。他认定GPT-4技术报告里最重要的一句话就是“Certain capabilities remain hard to predict”,某些能力依然难以预测。逆缩放竞赛还找到过反例任务,几代模型越做越差,下一代突然开窍,从差到好只隔了一代。

人机对比,以及钱往哪放

摆成绩单。AI强在广度:读遍互联网,会说所有语言,速度至少快10倍,通常便宜90%,可并行、可克隆、随时在线。一篇题为《自然选择偏爱AI》的论文点出另一个优势:一项进步能立刻移植到所有模型,人类学新东西慢得多。顺带一提,评估里AI连医患沟通中的关怀态度(bedside manner)都赢了人类医生。

人类强在专业深度、突破性洞见和连贯记忆,AI的记忆今天既有限又脆弱。AI还有个明显弱点:对抗鲁棒性差,容易被骗,社交媒体上大量越狱案例就是证据。

投资部分他反复声明不构成建议。朋友提了个问题:我们是否在接近“大科技奇点”,即大厂凭数据、算力、算法三大输入的垄断,横扫各个行业?他判断越来越像。算力榜上,谷歌、微软、亚马逊、Meta是四巨头,苹果第五,阿里是中国第一,甲骨文这种几千亿美元市值的公司都排不上号,后来者没有入场路径。他历史上只推荐过一只个股:两年前的英伟达,逻辑很简单,所有人都要买算力,都从同一家买。AMD和Intel也被盯着,毕竟英伟达的利润率高得离谱,美国政府还在琢磨把产能从台湾往本土搬。最稳的赌注是算力提供者,芯片制造层和大科技层。

他列的“活棋”名单:OpenAI领先;谷歌研究员储备最深、研究议程最广;Anthropic是黑马,规模不大,同时绑定亚马逊和谷歌;Meta刚推出开源的Llama 3;微软研究不算最前沿,但数据中心多,还和OpenAI绑在一起;别小看马斯克,特斯拉和X都值得看;Character.AI做AI女友,用户停留时间惊人,长期连出生率都会受影响;法国Mistral是欧洲冠军,可能靠欧盟的地缘政治输血;中国研究者很多,NeurIPS现场普通话此起彼伏,但芯片禁令可能卡住下一步规模;苹果目前落后,但算力第五、钱多到花不完,不能完全排除。

灭绝风险,和该盯的信号

这个问题取决于缩放定律是否继续成立。他提醒,那叫缩放趋势更准确,趋势可能中断。最大的悬念是能力会在人类专家水平封顶,还是直接碾过去。他的猜测:会出现某种异类,某些方面超人,某些方面又怪又弱。

让他觉得怪异的是,全行业在没有控制计划的情况下冲刺。Sam Altman自己说过,最坏情形是“我们全部完蛋”(lights out for all of us)。Labenz的评价是,至少他们知道自己在玩火。一项针对近年顶会发表者的调查显示,48%的人给AI导致人类灭绝的概率至少10%,他认为这个数字值得认真对待。减少灭绝风险的公开声明上,Altman、Anthropic CEO、比尔·盖茨、OpenAI和谷歌DeepMind的首席科学家,以及两位图灵奖得主都签了名。预测者的共识时间线是几年到10年之内。

他建议盯住这几个信号:

  • 缩放趋势是否继续有效,会不会在超人水平前中断;
  • 会不会出现超越Transformer的新架构,近期结果显示会;
  • 机械可解释性能否跟上,2000名研究者的共识是跟不上,靠它兜底不现实;
  • 细胞建模、读脑、天气预测这类新模态,AI一出手就是超人级;
  • 智能体化,已有上百家创业公司在让AI自主设定并追求目标;
  • 前沿实验室都说情况失控会停手,真到那天会不会照做;
  • 政府何时介入,中美会不会滑向AI军备竞赛。

他的立场很坦白:爱AI,Waymark的产品因此好了10倍,他每天重度使用ChatGPT。但社会应该放慢超大规模化的脚步,先把手里已有的东西用好,再谈造超人AI科学家,因为控制它的策略还不存在。

落到明天能做的事,有三件。第一,遇到严肃的健康或法律问题,把AI当成第二意见,和人类专家交叉验证,两边对答案,这是当下就能兑现的“最优组合”。第二,用“常规任务”标准审视自己的工作:常见且有明确好坏标准的部分,比如写周报、整理会议纪要、查标准条款,今天就试着让AI先出初稿;需要全新方案的部分暂时安全。第三,记住损失函数、梯度下降、涌现这三个词,看懂它们,大部分AI新闻就不再是天书,判断行业动向时也有了坐标系。

Tune in to this special episode of the Cognitive Revolution for AI scouting report. We cover the state of the art in AI applications for medicine, key AI concepts, and how these technologies could influence society.

SPONSORS:
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention “Turpentine” to skip the waitlist.
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/

RECOMMENDED PODCAST - The Riff with Byrne Hobart
Byrne Hobart, the writer of The Diff, is revered in Silicon Valley. You can get an hour with him each week. See for yourself how his thinking can upgrade yours.
Spotify: https://open.spotify.com/show/6rANlV54GCARLgMOtpkzKt
Apple: https://podcasts.apple.com/us/podcast/the-riff-with-byrne-hobart-and-erik-torenberg/id1716646486

CHAPTERS:
(00:00:00) Introduction
(00:06:13) Current State of the Art
(00:08:34) Medicine
(00:13:49) AI limitations
(00:17:01) AI capabilities
(00:17:02) Sponsors: Oracle | Brave
(00:19:09) How AI works
(00:24:05) Information processing
(00:28:51) Curated data sets
(00:32:52) Sponsors: Squad | Omneky
(00:34:38) Transformer
(00:37:11) Scaling
(00:39:59) Emergence
(00:44:03) Grokking
(00:50:30) Best practices for business
(00:53:38) Live Players
(00:58:33) What to Watch
(01:00:35) Final Thoughts

本集资源与出处