把癌症诊断从8小时压到1秒,用的竟是2017年的老模型
E38: The Virtual Biopsy Revolution with Dr. Tanishq Mathew Abraham (Part 2 of 2)
医学AI研究者亚伯拉罕介绍深度学习驱动的虚拟活检技术,及其在活体肿瘤切除手术中的潜力。
脑瘤切除手术进行到一半,外科医生最想知道的只有一件事:肿瘤切干净了没有。按现有流程,拿到这个答案要等8个小时以上。取组织、福尔马林固定、石蜡包埋、切成薄片、染色、显微镜检查,一步都不能省。
2023年6月,播客Cognitive Revolution请来一位叫塔尼什克·马修·亚伯拉罕(Tanishq Mathew Abraham)的博士生。他刚发表的论文,把这套流程压缩到了1秒:用一种新型显微镜给完整组织拍3D图像,再让AI把灰度图像“染”成医生熟悉的病理切片样子。不切一片组织,不碰一滴染料。主持人内森·拉本兹(Nathan Labenz)算过账,这至少是两个数量级的时间压缩。
节目录制几天后就是塔尼什克的20岁生日。这个年纪的研究者,同时是开源社区EleutherAI的成员、医疗AI研究组织MedARC的核心人物,研究算力由Stability AI赞助,连他的博士学业都拿过对方的奖学金。上一期节目聊的是他的另一个项目:用功能性核磁共振记录的视觉皮层活动,反推受试者当时看到的图像。这一期聊病理科,论文标题长得像绕口令,内森念完自己先笑了,里面的信息量倒配得上这个长度。
老流程卡在哪:8小时与30分钟的尴尬
先看现在病理诊断的标准动作。医生从病人身上取下组织,用福尔马林固定,让结构保持在原位,再埋进石蜡,才能切成几微米厚的薄片,贴上载玻片,最后用苏木精和伊红两种染料上色,也就是病理报告里常见的“H&E染色”。细胞核被染成深紫色,其余结构呈粉色,医生看的就是这个紫粉配色的图像。
整套流程通常要8个小时。更麻烦的是它不可逆:组织被切片、染色之后基本就消耗掉了,想换一种染法再看一遍,得重新取材。
常规诊断等得起,手术台等不起。塔尼什克的研究特别关注脑瘤手术:医生在脑组织里一点点切除肿瘤,需要有人实时告诉他,这块还有肿瘤,那块已经干净了。现有的替代方案,比如术中冰冻切片,30分钟能出结果,但图像质量差,判读困难,有些医院在用,医生用得并不顺手。手术中的每一分钟,医生都在凭经验做取舍,切少了怕复发,切多了伤及健康脑组织。
每个人都认识做过肿瘤切除手术的人。手术之后问,切干净了吗?医生说,我认为切干净了。他们到底是怎么确定的,把握有多大?
这是内森在节目里的大意。那句“我认为”背后,缺的就是一块又快又准的术中证据。
新显微镜:不切片、不染色,还能进手术室
论文用的成像技术叫QOBM,全称定量斜背照明显微术,由佐治亚理工学院的实验室开发,塔尼什克这次是跟这个实验室合作。它属于“免切片”显微成像的一种,直接对完整的新鲜组织成像,拍一张图1秒左右,输出的是3D数据,想看哪个切面,软件里调出来就行。内森觉得这一幕跟上一期的脑成像项目有几分相似,都是先无损地拿到完整数据,再从中提取想要的东西。
更关键的一点是它“免标记”。有些免切片技术仍然需要染色,QOBM连染料都不用。这一点决定了它的上限:不给活体组织染色,才有可能做活体成像。总不能往病人脑内还在工作的组织上倒染料。组织保持完整,同一份标本还能反复成像、换角度分析,这在老流程里想都别想。
这套设备已经被迷你化成一支手持探头。手术时,医生拿探头对准切除边缘,拍一下,1秒拿到3D图像,软件里切出虚拟切片,AI上色,屏幕上直接出现接近标准病理切片的图像。内森把这个流程概括成三连:虚拟切片、虚拟染色、虚拟判读。他还补了一句,虚拟染色一旦跑通,诊断成像的数量可能会爆炸式增长,到时候得再训练一个分类模型自动初筛,人只看机器拿不准的那部分。
数据少得可怜,还天生无法配对
训练AI需要数据。大语言模型的训练动辄几万亿token,这项研究的数据是什么规模?2358个QOBM图像块,1737个H&E图像块,每个块512乘512像素,全部来自几只大鼠和几名人类患者的少量标本。内森承认,换他来做这个项目,第一反应是先凑一亿对输入输出数据,真那么干,切组织就得切到天荒地老。
为什么这么少?塔尼什克解释,医学标本的收集成本极高。用大鼠,就得先养瘤再处死,一批一批来;用人的标本,只能等脑瘤手术刚好剩下可用于研究的组织。想凑大规模数据,除非方法已经成熟到能做临床试验,否则没戏。常规病理的H&E切片倒是不难收集,医院本来就存着大量存货,麻烦就麻烦在这项研究用的是全新成像技术,没有现成数据集可蹭。
还有个更根本的麻烦。要让AI学会虚拟染色,理论上需要成对数据:同一块组织,QOBM拍一张,H&E拍一张,一一对应着学。问题在于,拿到H&E基准图像之前,组织必须经过固定、包埋、切片、染色那一整套破坏性处理,处理完的组织已经变了形,空间位置挪动,结构细节改变,两张图对不上像素。
有人会问,那就老老实实配对采集行不行?行不通,破坏性处理发生在成像之后,配对在物理上就做不到,只能靠算法绕过去。这类问题有个专门的名字:非配对图像翻译。
为什么是CycleGAN:老模型的胜利
塔尼什克选的解法是CycleGAN,2017年前后发表的模型,按AI圈的标准算老古董。他试过基于对比学习的新方法,也试过扩散模型,效果都不如它。他半开玩笑说,本来以为读博期间早该用上扩散模型了,结果兜兜转转,还是这个老家伙最好使。他猜测,一些新方法隐含了某些假设,跟病理图像的特性对不上。
先讲GAN的基本原理。两个神经网络互相博弈:生成器负责造假,拼命产出看起来像真数据的图像;判别器负责打假,学习分辨真图和假图。两边互相施压,生成器的造假水平被逼着一路上涨。2020年之前,StyleGAN那类模型生成的假人脸一度刷屏,用的都是这套技术,可以说是生成式AI的雏形。
CycleGAN在这个基础上加了一个环。它有两组生成器和判别器:第一个生成器把QOBM图像变成假的H&E图像,一个判别器专门盯着H&E这个域,分辨真切片和假切片;第二个生成器再把假H&E图像变回QOBM图像,另一个判别器盯着QOBM域。关键在后头:变回来的图像要跟最初那张QOBM原图直接比对,越像越好。
这个闭环逼着模型守住一条底线:想在最后还原出原图,中间那张假H&E图像就必须保住原图的全部内容。随便造一张逼真的H&E图骗过判别器没用,内容丢了就回不去了。这套机制叫循环一致性,CycleGAN名字里的"Cycle"就是打这儿来的。训练完四个模型,实际使用时只留第一个生成器,另外三个全部扔掉。塔尼什克试过结构更简单的单模型方案,跑是能跑,效果就是差一截。
但机制有漏洞。团队发现,H&E图像里细胞核是深色的,因为苏木精是吸收性染料;QOBM图像里肿瘤细胞的细胞核偏偏是亮的。模型被搞糊涂了,开始把QOBM图里的暗区,比如细胞质,硬画成H&E里的深色细胞核,位置完全错位。
解法简单到离谱:把QOBM图像做一次灰度反转,细胞核在两种图像里就都是深色的了。任务被简化成“暗区对应暗区”,模型立刻走上正轨。塔尼什克管这叫琢磨模型的“心理”,摸清它怎么偷懒,再把路铺平。与其跟模型的怪癖较劲,不如把题目改写成它最容易做对的样子。
整个项目真正花功夫的地方,多数在数据处理和清洗上,模型本身反而不复杂。这也是他读博以来最大的收获,业界叫法是以数据为中心的AI。
没有高质量数据,再先进的模型也帮不上忙。我的导师爱说一句话:垃圾进,垃圾出。
他提到,最近大语言模型领域也有论文开始强调数据过滤的重要性,这个共识正在扩散。
没漏过一个肿瘤,但离手术台还有几年
模型的错误全在一个方向:把正常结构误报成可疑目标,没有漏掉任何一个真实肿瘤。内森特意点了出来。误报的来源还是两种成像方式的差异:H&E切片薄到几微米,一根斜着走的毛细血管只能留下几小段碎片,红细胞还在处理中脱落;QOBM看的是完整组织,血管是连贯的。脑白质束也一样,在两种图像里长相不同。模型没见过这种“完整版”结构,偶尔拿不准,宁可报出来。
对脑外科手术而言,两类错误都得防:误报意味着切掉健康脑组织,漏报意味着肿瘤残留。理想状态是两类错误都为零,眼下还做不到,好在方向是对的,数据攒多了也有机会继续压。
训练成本值得一提。整套模型在一张A100显卡上训练,几个小时出结果,把实验挂上,两三个小时回来看就行。他早期用V100跑,要慢得多,硬件进步也帮了忙。
还有个意外之喜。数据集里只有一张人类健康脑组织图像,毕竟没理由从健康人身上取组织。模型主要用肿瘤图像训练,处理这张健康图像时却完全正常。泛化能力比预期好,不过一张图撑不起结论,这正是后续验证要补的课。
塔尼什克把前路列得很清楚。第一,扩数据:他们只用了2级和3级星形细胞瘤,脑瘤还有很多其他类型,都需要采集、训练、验证。第二,做临床试验,这是进临床的硬门槛。第三,手持探头本身还要继续打磨可靠性,它作为医疗器械,也得走自己的验证流程。
医疗验证格外严格,理由很直接,人命关天。这项技术从论文走到手术室还需要几年,但收益摆在那:更快的诊断,更小的创伤,更干净的切除。
更大的图景,和三件马上能用的事
节目里有个容易被忽略的观点:医疗AI的研究成果,常常反过来滋养通用AI。塔尼什克举了两个例子。U-Net最早为细胞分割而生,后来成了图像分割的通用架构,连扩散模型里都在用。CLIP的前身是斯坦福团队为放射科报告设计的ConVIRT,OpenAI看中这个思路,放大规模,才有了后来支撑文生图的CLIP。
Stability AI赞助他的逻辑也在这里。这家公司做生成式AI,想看看这些技术能怎么用到医疗上,不要求独占任何成果,算力同样开放给其他学术项目。他在MedARC的团队用Stable Diffusion微调胸片数据,按需生成医学影像给医生当训练素材,医生见得少的病例,可以生成练习图。
他最期待的应用之一,是从普通H&E图像里读出分子级别的信息。细胞表面表达哪种受体、哪种蛋白,按常识得做分子检测才知道,但研究发现,这些信息会在细胞形态上留下极细微的痕迹,人眼看不出来,AI能抓到,抓到之后还能供医生做临床决策参考。图像里藏着人眼读不出的信息,这是AI在医疗上最值得押注的方向之一。
至于放射科医生会不会被取代,他的判断很克制:现有系统的可靠性撑不起全自动诊断,AI先当工具,医生留在决策环节。他见过论文描述AI加医生的组合系统,成绩好过AI单独作业,因为AI能注意到一些东西,医生凭多年经验能注意到另一些东西。他拿ChatGPT打比方:大模型爱编造,但当作起点用仍然极有价值,医疗AI也一样,关键问题是可靠性还能提到多高。
节目收尾还聊了几件小事。聊到教育,他说自己从小学习速度偏快,被统一的课堂进度折磨得不轻,为了按自己的节奏学,跟体制反复周旋,所以特别看好AI个性化教学,让快的人快走,慢的人慢走。他说,现在那些初级的AI工具,比如机器翻译,已经能把不同语言文化的人连起来,AI同样可能把撕裂的社会重新缝上。
聊到Neuralink刚拿到FDA的人体试验批准,主持人问,假如技术成熟、一百万人都植入了,他愿不愿意装一个,他说愿意,前提是安全问题解决,他最担心有人黑进自己的大脑。聊到担忧,他最怕AI加剧社会极化和偏见;聊到期待,排第一的还是医疗,然后是教育,以及AI放大普通人的创造力。
这期节目听下来,有三件事明天就能用上:
- 遇到新问题,先跑老基线。2017年的CycleGAN赢过了扩散模型。做项目时先把最简单、最成熟的方法跑一遍,再决定要不要上新技术,很多情况下老工具够用,还更省。
- 把力气花在数据上。这个项目的突破多数来自数据处理和清洗,模型本身是现成的。产出不行的时候,先检查输入质量,再考虑换工具。
- 把题目改写得更容易。一次灰度反转救了整个模型。卡住的时候,看看能不能换一种任务表述,让正确答案变成最省力的那条路。
最后补一句背景。塔尼什克的研究在开源社区协作完成,MedARC的灵感就来自EleutherAI这类社区。他说,AI可以用来治病、教书、连接不同文化的人,也可以用来撕裂社会,工具本身两边都能用,往哪边走,取决于现在就卷进来的这批人怎么选。
Part 2 of Nathan's conversation with Tanishq Mathew Abraham focuses on Tanishq's work with virtual biopsy technology enabled by deep learning. This unique technology has the potential to address a number of important biomedical challenges; in particular, qOBM could help during live tumor and cancer removal surgeries.
Tanishq, a 19-year-old UC Davis grad and one of the youngest people in the world to receive a Ph.D, with a degree in biomedical engineering, is the founder of the Medical AI Research Center (MedARC). In case you haven’t yet listened to part 1, check it out! That episode goes deep on Tanishq’s first published paper: Reconstructions of the Mind’s Eye, which encompasses breakthrough research on reconstructing visual perceptions from fMRI scans into images.
We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.
RECOMMENDED PODCAST:
The HR industry is at a crossroads. What will it take to construct the next generation of incredible businesses – and where can people leaders have the most business impact? Hosts Nolan Church and Kelli Dragovich have been through it all, the highs and the lows – IPOs, layoffs, executive turnover, board meetings, culture changes, and more. With a lineup of industry vets and experts, Nolan and Kelli break down the nitty-gritty details, trade offs, and dynamics of constructing high performing companies. Through unfiltered conversations that can only happen between seasoned practitioners, Kelli and Nolan dive deep into the kind of leadership-level strategy that often happens behind closed doors. Check out the first episode with the architect of Netflix’s culture deck Patty McCord.
https://link.chtbl.com/hrheretics
The Cognitive Revolution is a part of the Turpentine podcast network. To learn more: Turpentine.co
TIMESTAMPS:
(00:00) Episode Preview
(03:26) Introducing Tanishq’s second paper presenting an AI-enabled biopsy
(06:39) Diagnostic applications of this unique slide-free and label-free technology (qOBM)
(13:06) Leveraging deep learning, specifically generative adversarial networks (GANs)
(14:55) Sponsor: Omneky
(15:42) Framework for model
(16:22) Challenges of medical data sets
(20:11) Challenges of unpaired image to image translation, addressed with a CycleGAN architecture
(22:19) What didn’t work
(25:44) Breaking down GAN frameworks
(34:30) Simplifying data to better with the CycleGAN
(36:02) Factors for errors and confusing the model
(39:00) Compute and training requirements
(41:35) How this technology can scale in the near term and improve patient care
(45:53) Tanishq’s relationships with EleutherAI and Stability AI
(47:08) The future-looking focus of MedArc and unexplored opportunities
(49:00) Developments in Medical AI field and interesting applications
(55:11) Early education and AI
(58:00) Would Tanishq get a neuralink?
(1:00:00) Tanishq’s hopes and fears for AI
LINKS:
Paper: Label- and slide-free tissue histology using 3D epi-mode quantitative phase imaging and virtual H&E staining https://arxiv.org/pdf/2306.00548.pdf
Authors: Tanishq Mathew Abraham, Paloma Casteleiro Costa, Caroline Filan, Zhe Guang, Zhaobin Zhang, Stewart Neill, Jeffrey J. Olson, Richard Levenson, Francisco E. Robles
TWITTER:
@iScienceLuvr (Tanishq)
@MedARC_AI (MedARC)
@CogRev_Podcast
@labenz (Nathan)
@eriktorenberg (Erik)
SPONSOR:
Thank you Omneky (www.omneky.com) for sponsoring The Cognitive Revolution. Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work, customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.
MUSIC CREDIT:
MusicLM
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


