No. 228·精读

脑类器官要养一年,AI推演只要一小时:SQUIDiff和CORAL把细胞实验搬进计算机

Unlocking Cells' Secrets: Diffusion, Deconvolution, & Discovery with Siyu He, author of Squidiff & CORAL

斯坦福博士后Siyu He介绍其AI生物医学研究Squidiff与CORAL,讲述如何用模型分析转录组与组织样本中的复杂细胞系统。

节目音频00:00 / 1:43:17
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

一颗细胞被送去测转录组的那一刻,它的生命就结束了。单细胞测序是破坏性的,想看同一颗细胞第二天变成什么样,做不到,只能重新养一批,再等几周甚至几个月。斯坦福大学生物医学数据科学专业的博士后Siyu He对这种等待再熟悉不过,她做疾病建模用的类器官,有些脑类器官要养一年甚至更久,中途出一次错,全部推倒重来。

她在Cognitive Revolution播客里带来两篇一作论文。SQUIDiff用扩散模型生成虚拟的单细胞转录组,5000个细胞的数据训练一次只要15分钟;CORAL处理空间转录组,把两种各有残缺的数据拼成一张完整的组织地图。名字也有讲究,她的第一篇模型论文叫Starfish,海星,这一篇是squid,鱿鱼,加diffusion,扩散。Nathan调侃她在构建一个「电影宇宙」,她说希望以后能凑出更多海洋生物。

主持人Nathan Labenz是创业者兼AI投资人,追了几年AI能力边界。他听完的判断很直接:2021年推特上的扩散模型还在画猎奇艺术品,如今同样的技术已经在推演细胞命运。湿实验以月计,模型推演以小时计,这个差距每缩小一分,生物学的发现速度就加快一分。

细胞是一袋RNA:转录组为什么值得建模

先补背景。人体几乎所有细胞共享同一套DNA,让它们彼此不同的,是转录过程:DNA转录成RNA,RNA翻译成蛋白质,蛋白质折叠成特定结构,各司其职。哪个基因此刻正在被转录、转录了多少,就是基因表达,也叫转录组。

Siyu He的博士后导师之一、斯坦福教授Stephen Quake有句名言:细胞就是一袋RNA。细胞的复杂程度,很大程度上可以从基因表达里读出来。蛋白质当然也携带信息,但目前的蛋白测量噪声更大,所以领域内几乎都从转录组入手。

技术突破是单细胞RNA测序:把组织打散成一个个细胞,测出每个细胞里约3万到6万个基因的表达强度。注意这个维度,每个细胞就是3万到6万个数字组成的向量,这是后面一切建模的起点。

拿到一堆转录组之后,研究者怎么读出信息?Siyu He介绍了常规流程:先降维、聚类,把状态相近的细胞归成一堆,每一堆通常对应一种细胞类型;再看每个群里有哪些高变异基因和标记基因。标记基因是学界公认的类型标志,比如癌症相关的标记基因一出现,大概率就是癌变状态,跟病理科医生用蛋白和抗体染色判断组织的思路是一回事。

转录组讲不完细胞的故事,表观遗传、染色体状态、蛋白质、线粒体都藏着额外信息。但它是目前唯一能全基因组尺度批量获取的数据,用它判断细胞正走向哪里,性价比最高。

SQUIDiff:为什么不用Transformer

SQUIDiff想做的事一句话能说清:给定一种细胞状态和一个扰动,加某种药、上调或下调某个基因,直接推演扰动之后细胞的转录组长什么样。不养细胞,不等几个月,模型直接生成。

动机来自她自己的实验室日常。养细胞、等细胞长好、跑完整个测序流程,动辄数月,费用也不低,中途还可能失败重来。更关键的是,有些条件在现实里根本无法做成实验。生成模型的价值就在这里:先造一个细胞的数字分身,把做不了、来不及、做不起的实验放进计算机里跑。她还提到类器官作为药物筛选平台的场景,如果有每种生长因子对应的向量,就能预测类器官的发育走向,以及它对不同药物成分的反应。

架构有两个核心部件。一个语义编码器,把3万到6万维的原始表达数据压缩成低维语义向量,抓住这个细胞本质上是什么;一个条件扩散模型(DDIM),从语义向量出发,加高斯噪声再一步步去噪,生成完整转录组。

Nathan替观众问了个大概率人人都会问的问题:Transformer这么万能,为什么不直接用它?Siyu He给了两个理由。第一,Transformer擅长处理序列,用在基因上得先给基因排序,输入输出都变成基因排名,跟原始数据的形态脱节;而且现有Transformer路线大多学个嵌入向量做下游分类,跟生成完整转录组的目标对不上。第二,扩散模型天然擅长建模复杂分布,基因表达的分布恰恰极其复杂。她立项时,还没人用扩散模型生成单细胞转录组,这是她想探的空白。

细节里有处容易踩坑的地方。第一版手稿把压缩组件写成了VAE,她当场更正:它应该叫语义编码器,与条件扩散模型相连。真正的关键区别在于训练方式:常规做法先单独训一个压缩器,再接扩散模型;SQUIDiff两边用一个损失函数端到端一起训,语义提取和噪声建模互相配合。

去噪网络用的也只是多层感知机加残差连接,残差把时间步和语义特征都纳入进来。原因很朴素:图像是二维的,有现成的U-Net;单细胞数据每个细胞就是一条向量,U-Net用不上。另外单细胞数据极度稀疏,大量基因表达为零,团队只保留高变异基因参与训练。数据从哪来?她用的是小而专的数据集,附带细胞类型、组织来源、疾病阶段等元信息,公开数据和合作实验室的新数据混着用。她直言,高质量数据是当前领域最大的瓶颈之一。5000个细胞就能训出能用的模型,代价是数据太少容易欠拟合或过拟合,她的下一步是把各类类器官数据合起来做基础模型,再往真实人体组织走。

Nathan说这让他想起一个用fMRI信号重建人眼所见画面的项目,同样是扩散模型打底,先造一个扩散先验,再往具体目标上靠。思路确实同源,只是这次的对象从像素换成了基因。

把实验变成向量加减,再用真实数据回测

SQUIDiff最巧的设计,是把生物实验翻译成潜空间里的向量运算。逻辑跟语言模型里那个经典例子一样:用「男人」和「女人」两组嵌入相减得到方向向量,「国王」加上这个方向就得到「女王」。放到SQUIDiff里,想知道某种药对A类细胞的作用,可以先在容易培养的B类细胞上做实验,拿到「处理前后」的语义向量之差,再把这个差值加到A类细胞的语义向量上,让扩散模型生成结果。A类细胞从头到尾没被碰过。

Siyu He坦承这是一个近似。生物过程复杂且非线性,但潜空间比基因表达空间更平滑、更有结构,线性近似在那里能站住脚,剩下的非线性交给扩散模型消化。

验证分三条线,做得相当扎实。

  • 细胞分化:第0天的诱导多能干细胞到第3天分化成间充质干细胞,训练只给第0天和第3天的数据,把第1天、第2天留出来当考卷,模型用线性插值推演中间状态,再跟真实测量对比打分。
  • 基因扰动:手上有基因A、基因B以及A加B的完整实验数据,训练时扣下A加B,看模型能不能用A和B的向量组合预测出联合扰动的结果。
  • 血管类器官:从第0天养到第11天,中间任何一天都不能取样,取样即毁样本。团队只测首尾两端,用插值生成中间阶段,结果发现了此前没人报道过的瞬态细胞状态,再对照其他团队公开发表的时序数据,找到了一致证据。
「我们发现了一些以前没想过的细胞状态,然后去比对别人发表的实验数据,能看到一致的发现,这让模型的可信度强了很多。」

成本账也好算。湿实验那边,从组织解离拿到测序文件至少一周;模型这边,换一个条件重新推演,大概一小时。Nathan算的是另一笔账:研究生和博士后的时间、实验室的空间都是固定的,科学进展的瓶颈往往在于有没有挑对实验,模型的价值是把「该做哪个实验」的命中率提上去。对癌症患者还有更直接的应用场景:与其盲目试药,不如先用自己的细胞推演一遍哪种药最可能起效、副作用如何。

模型的边界:没见过的药,推不动

SQUIDiff的软肋,Siyu He自己列得清清楚楚。

最大的限制是泛化方式。模型学会了药物A和药物B的向量,可以把这两个向量迁移到任何细胞类型上预测反应。但来了一个从没见过的药物C,没有对应向量,模型就无能为力。审稿人也揪住了这一点。团队的应对方案是加一个适配器,把药物的分子结构和剂量信息编码进去,拼接到语义变量上。这样即使药物C没进过训练集,只要有分子式和剂量,也能预测。

中间状态的预测精度低于两端。原因在于分化由多种生长因子驱动,每种因子对应一个方向,模型目前只能把它们打包成一条近似的直线向量。如果能把每种生长因子的语义向量分别学出来,推演会更立体。下一代版本已经排上日程:借鉴视频生成模型的思路,引入时间序列信息,直接学习发育过程的非线性。

还有一条红线她反复强调。这是面向医疗的应用,模型必须对结果负责,距离临床可用还有大量实验验证和临床验证要走,实验室场景反而可以先灵活用起来。

CORAL:把马赛克照片和高清照片拼成一张

第二篇论文CORAL处理另一个尺度的问题。单细胞测序有个先天缺陷:组织被打散了,每个细胞在组织里的位置信息全部丢失。而细胞从来都活在邻里关系里,谁挨着谁、谁在给谁发信号,对理解组织结构至关重要。七年前左右,空间组学技术开始出现,直接在组织切片上测。

但空间组学有个尴尬的分辨率错位。Siyu He打了个比方:一张是灰度的高清照片,另一张是彩色的马赛克照片,能不能合成一张既彩色又高清的?空间转录组相当于彩色马赛克,能测全基因组3万到6万个基因,空间分辨率却很低;空间蛋白组相当于灰度高清,空间精度很高,但只能测有限的几十种蛋白。更麻烦的是,两种测量没法在同一张切片上做,只能取相邻的两片,位置还有偏移。

CORAL的核心任务是去卷积:把低分辨率斑点里的混合信号拆解回单个细胞的转录组。拆完之后还能做三件事:用图神经网络建模细胞与邻居的交互,邻居数量K是个可调的超参数,她说没必要拉得太长,重点就是邻居间的通讯;识别组织里的功能域,把空间结构整理出来;分析组织内部的空间变异。

损失函数的设计有点讲究。图拉普拉斯损失负责让相邻区域平滑过渡,重建损失和KL散度负责让结果贴住真实数据。两者制衡,平滑区域自然平滑,骨骼、血管这类本来就有清晰边界的地方,单细胞级的高分辨率数据也能让模型把边界画得干脆利落。她补充了一个重要细节:边界是否清晰取决于组织类型。骨骼和血管边界分明,肿瘤则常常没有清晰边界,癌细胞会浸润到正常组织里,这种差异模型都能表达。

Nathan把这个问题放进了更大的框架:科学的老大难之一就是跨尺度整合,从量子力学到宏观经济,每层之间都隔着鸿沟,微观和宏观经济学的分裂就是现成的例子。生物学把这个难题摆在了最难的档位,CORAL啃的是其中一环。

合成数据的用法也值得一说。Nathan专门追问会不会循环论证:能生成合成数据,是不是说明答案已经知道了?Siyu He的解释很清楚。合成数据来自领域内公认的模拟工具,比如合作团队开发的SC-Design,发表在Nature Biotechnology上,能按设计的分布采样出带空间信息的表达数据。关键在于合成数据的生成过程跟CORAL的设计完全独立,不存在循环。用它是为了拿到真实数据给不了的东西:标准答案。合成数据里哪些细胞该聚在一起、功能域边界画在哪,都是已知的,先验证模型有没有这个能力,再把通过考试的模型放到真实数据上,结果靠领域知识把关。

大图景与行动清单

聊到未来,Siyu He点了几支部队。Google DeepMind在做虚拟细胞项目,想把不同尺度、不同类型的细胞和器官统一进一个模型,造出数字版的细胞副本。Chan Zuckerberg Initiative发起了Billion Cells计划,把海量细胞数据聚起来训练基础模型。数字孪生也在路上:给每个人造一个副本,换个选择会发生什么,先在副本上看一眼。

Nathan提出一个值得记住的观点:与其等一个定义模糊的超级智能来拯救人类,也许更值得搞一场数据层面的曼哈顿计划,把锁在医疗系统里、被隐私规则困住的数据负责任地解放出来,让Siyu He这样的研究者直接做出发现。治愈疾病、延长寿命,本来就是超级智能最动人的承诺,而通往那里的路,可能就是一块一块的数据。

Siyu He的回应很务实:这个领域靠协作。生物学家懂机制,机器学习的人造模型,统计学家把关,甚至需要艺术家参与,把模型和成果讲得动人。她对AI参与医疗健康持乐观态度,至少现在,看不到这项工作失控的风险,它回答的是具体而明确的问题。

最后是三份明天就能用的清单。

  • 做单细胞研究的人:SQUIDiff不提供预训练模型,需要用自己的数据训练,5000个细胞起步,15分钟跑通。先用留出验证的思路测自己的场景,训练时扣掉一组已知条件,看推演准不准,再决定信多少。
  • 读生物学AI论文的人:盯住两个信号。一看验证设计,是否像SQUIDiff那样把已知答案扣下来当考卷;二看合成数据,生成过程跟模型设计是否独立,独立才有验证价值。
  • 关注AI趋势的人:图像生成2021年还在推特上画怪画,两三年后已难辨真假。生物学正站在同样的起点上,值得把「虚拟实验」这个词放进自己的观察清单。

In this episode of the Cognitive Revolution, we hear from Siyu He, a postdoc at Stanford specializing in biomedical data science. Siyu discusses the implications and methods behind their recent AI-driven biological research papers, Squidiff and CORAL. The conversation explores the use of AI models to analyze complex cellular systems and disease mechanisms, focusing on transcriptome and tissue sample analyses. Squidiff aims to simulate cellular transcriptomes to predict outcomes of various conditions, significantly expediting traditionally lengthy and expensive biological experiments. CORAL Project extends this by integrating different levels of biological data, enabling a more comprehensive understanding of tissue structures and cellular interactions. The discussion also delves into the challenges of using synthetic data for validating AI models and the potential acceleration of scientific discoveries through AI in biomedical research. The episode encapsulates the interplay between AI and biology, highlighting the future possibilities and current limitations of this innovative research front.

Squidiff: https://www.biorxiv.org/content/10.1101/2024.11.16.623974v1.full.pdf
CORAL: https://www.biorxiv.org/content/10.1101/2025.02.01.636038v1.full.pdf

SPONSORS:
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers. OCI powers industry leaders like Vodafone and Thomson Reuters with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before March 31, 2024 at https://oracle.com/cognitive

Shopify: Shopify is revolutionizing online selling with its market-leading checkout system and robust API ecosystem. Its exclusive library of cutting-edge AI apps empowers e-commerce businesses to thrive in a competitive market. Cognitive Revolution listeners can try Shopify for just $1 per month at https://shopify.com/cognitive

NetSuite: Over 41,000 businesses trust NetSuite by Oracle, the #1 cloud ERP, to future-proof their operations. With a unified platform for accounting, financial management, inventory, and HR, NetSuite provides real-time insights and forecasting to help you make quick, informed decisions. Whether you're earning millions or hundreds of millions, NetSuite empowers you to tackle challenges and seize opportunities. Download the free CFO's guide to AI and machine learning at https://netsuite.com/cognitive

PRODUCED BY:
https://aipodcast.ing

CHAPTERS:
(00:00) About the Episode
(03:37) Introduction and Guest Welcome
(04:00) Setting the Big Picture Context
(04:37) Exploring the Squidiff and CORAL Papers
(08:31) Understanding Transcriptomes
(11:17) Single Cell RNA Sequencing Technology
(15:32) Motivation Behind Squidiff (Part 1)
(17:14) Sponsors: Oracle Cloud Infrastructure (OCI) | Shopify
(19:41) Motivation Behind Squidiff (Part 2)
(25:56) Training Data and Model Architecture (Part 1)
(31:38) Sponsors: NetSuite
(33:11) Training Data and Model Architecture (Part 2)
(37:18) Diffusion Models in Biology
(46:07) In Silico Experiments and Applications
(54:25) Clarifying the Validation Process
(55:36) Validation Strategies and Real Data
(58:26) Challenges in Modeling and Predictions
(01:02:14) Accelerating Research with AI Models
(01:07:31) Future Directions and Collaboration
(01:10:46) Introduction to CORAL Paper
(01:13:09) Spatial Transcriptomics and Proteomics
(01:17:10) Challenges in Integrating Spatial Data
(01:31:53) Synthetic Data and Model Validation
(01:36:42) The Future of AI in Healthcare
(01:43:31) Outro

SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://linkedin.com/in/nathanlabenz/
Youtube: https://youtube.com/@CognitiveRevolutionPodcast

本集资源与出处