No. 148·精读

几万参数的小模型,让盐水在电脑里自己长出了晶体

Fluid Intelligence: Simulating Solutions with Tim Duignan

昆士兰大学研究员 Tim Duignan 讨论 AI 与计算化学融合,如何用神经网络模拟物理过程并预测复杂系统。

节目音频00:00 / 1:53:30
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2024年6月的Cognitive Revolution节目,请来了一位澳大利亚数学家。几个月前,他在推特上发了一段几秒钟的视频:一杯盐水里,一颗盐晶体正在慢慢长大。配文说,这是他职业生涯最激动人心的结果。

将近200万人看了这段视频。

视频背后没有大模型。生成训练数据,几块GPU跑一天;模型本身,只有几万个参数;训练,几个小时。作为对照,今天的大语言模型动辄几万亿token、几十亿上万亿参数。

这位数学家叫蒂姆·杜伊南(Tim Duignan),在昆士兰大学做应用数学研究。他钻研了十几年的对象,说出来很多人会走神:盐水,学术名叫电解质溶液。主持人内森·拉本兹(Nathan Labenz)就是被那段视频勾住,才顺藤摸瓜约到了这期对谈。节目标题Fluid Intelligence是个双关,既是心理学里的「流体智力」,也是字面意义上的「流体的智能」。

聊完你会发现,这件事比「看盐水结晶」有意思得多。

为什么2024年了,人类还在研究盐水

杜伊南承认,跟普通人说自己研究电解质溶液,对方一般会想到运动饮料,然后礼貌性地失去兴趣。默认直觉是:盐水?这还用研究?

真用。

海洋本身就是盐溶液,二氧化碳溶进海水变成碳酸根,走向如何直接影响气候模型怎么算,大气中的气溶胶也由这类溶液形成。电池里,电解液连接正负极,决定充电速度和寿命。生命更离不开它:离子进出细胞产生的电信号,是大脑运转的全部基础,身体为此专门进化出离子通道和离子泵这些分子机器。

从气候到电池到生命,电解质溶液是地球上最重要的物质之一,但科学界至今没法从基本物理出发预测它最基本的性质。

什么叫从基本物理出发?就是只给薛定谔方程和牛顿定律,算出溶解度、活度系数、化学势这些数。目前做不到,全靠实验测,测完再喂给气候模型、电池模型这些更大尺度的模拟。

实验数据还有个更麻烦的问题:正在断供。高温测量需要昂贵设备;换一种没人研究过的电解液,就得回实验室把温度、压力扫一遍,成本极高,还发不了Nature和Science,没人愿意干。现有数据库大多靠几十年前积累,而机器学习恰恰最吃数据。

算不动的薛定谔方程

实验和AI之间,还隔着一层计算模拟。杜伊南把这层讲得非常清楚。

这套方法叫从头算分子动力学,逻辑是个循环:先解薛定谔方程,算出每个原子的受力;再用牛顿方程让原子挪一步;挪完重新算力,再挪。一帧一帧拍下去,就得到一部原子运动的电影。

听着简单,代价惊人。分子振动的节奏决定了步长只能取飞秒,也就是10的负15次方秒。跑几千步,才凑出1皮秒。系统呢,大概100个水分子。就这么点东西,杜伊南当年在美国能源部的超算上,一跑就是几个月。

为什么这么贵?因为计算的基本单位是电子,每加一个电子,它都可能和系统里其他所有电子耦合,暴力求解的代价随电子数指数增长。量子化学家几十年攒下的近似方法,能把指数压成多项式,但压不进普通实验室的预算。技术细节上也有巧劲:电子比原子核快得多,所以可以把两者拆开处理,只算基态的波函数和能量;解方程用架在原子中心上的高斯函数,波函数写成它们的线性组合,杜伊南团队用的软件叫CP2K,效率很高。顺带说一句,室温下退相干极快,波函数等于随时处于坍缩状态,他们只需要算基态,已经是量子力学里最仁慈的那类问题。

算不动,代价是真实的。看电池就懂了。

电池第一次充电时,电极表面会析出一层盐晶体,这层膜的质量直接决定电池寿命。膜长不好,会长出锂枝晶,刺穿隔膜,短路,起火。想做百万英里电池的杰夫·达恩(Jeff Dahn),现在的思路是往电解液里试各种添加剂,控制这层膜的生成,然后让电池循环跑完相当于百万英里的里程再看结果。纯试错,一轮要命。

瓶颈很清楚:量子化学计算太贵,贵到没法规模化。

把薛定谔方程换成神经网络

神经网络的解法很直接:整个循环里最贵的环节是解薛定谔方程,那就把它换掉。

具体做法是,先用量子化学计算生成一批训练数据,输入所有原子的坐标,输出总能量和每个原子的受力。拿这批数据训练一个神经网络,之后模拟里算力的活儿全交给网络。牛顿方程那一半照旧保留,反正便宜。

这个想法上世纪90年代就有了,2007年Jörg Behler和Michele Parrinello发表奠基论文,当时用的还是最普通的多层感知机。真正的爆发是最近两三年。

效果是提速1000倍起步。原来跑几个月的系统,现在几块GPU一天搞定;原来只能看100个水分子、几皮秒,现在系统大1000倍,时间长1000倍。杜伊南用的这套架构叫NequIP,出自哈佛Kozinsky实验室,团队演示过用它模拟整个HIV衣壳,百万原子量级,那才需要真正的GPU集群。架构上也有别的选择,比如拿Transformer做的TorchMD,效果也不错。

模型本身小得出奇:几万个参数。拉本兹在节目里反复确认了好几遍。作为参照,经典力场方法只用几十个参数,大语言模型是千亿上万亿。杜伊南的解释很妙:网络要拟合的分布,比「整个人类互联网上的知识」简单太多了。

真正的关键突破叫等变性(equivariance)。思路是别把原始坐标直接喂给网络:坐标是任意的,把一个水分子转个方向,坐标全变了,可它还是那个水分子,性质一点没变。所以要把三维空间的旋转对称性直接写进网络结构,用张量代替普通的数字列表。这套数学源自粒子物理当年用过的群论和表示论,而且和化学家用了几十年的多极展开(偶极、四极那些张量)天然呼应。

杜伊南说,他第一次看到NequIP论文里的表格就坐不住了:同样的水盒子算力预测任务,误差降到四分之一,训练数据只要原来的千分之一。

科学里不常见到三个数量级的进步。看到那种数字,你必然会扑上去。

有意思的是,这里正吵着一架。AlphaFold 2靠等变性拿下突破,AlphaFold 3却把它扔了,改用数据增强:把数据集旋转一千种角度再喂给更普通的网络,效果居然差不多。苹果最近一篇论文更是在替「苦涩的教训」站台:别耍聪明,堆参数堆数据就行。

杜伊南站在等变性这边,理由很朴素:如果有什么先验值得写进神经网络,那应该是基本物理定律和自然界的对称性。这场争论谁赢,还没定论,值得盯。

两个「白送」的发现

现在可以回到开头那段视频了。

杜伊南团队还叠加了一层技巧,叫粗粒化:把水分子从模拟里整个去掉,只留离子,让网络隐式学掉水的平均效应。他们的溶液大约4摩尔每升,纯水本身约55摩尔,相当于每10个水分子配1个离子。去掉水之后,网络学的其实是平均力,统计力学里对应自由能。训练这种模型反而需要更长的模拟,因为同一个离子排布对应的力不唯一,取决于周围水分子怎么排,网络要学会对所有水分子构型取平均。

难点在哪?水对离子间作用力是决定性的。介电屏蔽会把离子间的静电作用削弱大约80倍,而晶体里没有水,作用力完全是另一个量级。按常理,一个只见过溶液态的模型,绝不可能描述晶体态。

杜伊南读博那几年,干的就是手工构造这种隐掉溶剂的模型。推方程、调参数,搞了好几年,做出来的东西泛化能力一塌糊涂。他后来放弃了,认定这事做不到。

这种事我试了好多年,最后放弃了,觉得不可能。结果它就那么免费地从一个神经网络里掉了出来。

模拟跑着跑着,盐晶体自己长了出来。训练数据里确实没有晶体,他们回头查过:径向分布函数完全是液体的样子;模拟里离子最多结对、偶尔三聚,没有任何大团簇。结晶这种通常要靠增强采样硬拽出来的罕见事件,这次是白捡的。杜伊南猜,溶液里离子结对、短暂成簇时水被挤开、作用力变强的模式,已经被网络隐式记下,晶体不过是这条曲线的延伸。

第二个惊喜是水的自电离。纯水模拟跑久了,网络会偶尔让一个氢原子从一个水分子跳到邻居身上,生成氢氧根和水合氢离子。现实里这事确实发生,大约每一千万个水分子中有一个处于电离态,pH值7就是这么来的。更绝的是,网络连水合氢离子的三角锥形状都稳稳保持住,还出现了氢离子链式跳跃的格罗特斯机制,这正是酸在水中扩散特别快的原理。这些都是训练数据里没有的。

当然有代价。模型走出训练数据后,定性上能给出物理上合理的猜测,定量上并不精确。自电离的速率算得太快,溶解度也算不准。但修复路径现成:把晶体结构、质子转移这些事件补进训练数据再来一轮,业内叫主动学习。已经有人补完质子转移数据后,把pH值算准了。

拉本兹顺势抛了个大问题:这算不算大语言模型那种「学出高阶概念」的现象?杜伊南给了一个漂亮的视角。网络学的其实是一张高维势能面,输入原子位置,输出能量;大语言模型拟合的是下一个词的概率面。两者在数学上深度相通:统计力学里,概率密度的对数就是能量;大模型输出层的softmax,本身就是一条玻尔兹曼分布。统计力学和大语言模型之间,可能藏着还没被挖透的深层联系。

温度这件事还有个彩蛋。拉本兹问,既然温度旋钮随便拧,能不能拧到冰点看水结冰?杜伊南说可以调,但降温太快会得到玻璃态,原子来不及排成整齐晶格就冻住了。家里冰箱冻出来的冰是真晶体,靠氢键撑起规整结构,而且冰有一整张相图,十几种晶型。已经有人用这类网络势研究冰水平衡,也看到过类似「训练液体、白捡晶体」的现象。

大厂进场,和一个绕不开的问题

这套方法的下一步,是通用力场:训练一个模型,丢进任何元素、任何原子排布,都能算出力。巨头已经全部进场。

  • 字节跳动发了电解液模拟论文,训练集里没见过的有机电解液,模型能直接外推。
  • 微软的MatterSim能横跨巨大温度范围做模拟。
  • 谷歌DeepMind的GNoME在Nature上报告了数百万种新晶体结构。
  • Meta也在做。开源阵营有MACE-MP-0,只在晶体数据上训练,居然能模拟液体,和杜伊南的结论正好互为镜像。

拉本兹借朋友的说法,管这个趋势叫「大科技奇点」:如果这类东西只能靠堆算力,材料科学会不会最后被几家公司垄断?杜伊南认为这是真实风险。他的建议是公共部门赶紧跟进,学大型强子对撞机那样组织大科学项目,资助独立于公司的团队,把模型开源。他还说,学术界一教授带几个博士的小作坊模式撑不起这种工程,GNoME那篇百人协作的论文倒是个样板。AlphaFold 3迟迟不开放,已经预演过一次争论。他的观察很扎心:这些大模型在公司内部,其实没几个人有精力去跑那些真正有价值的模拟,放出来给科学界的价值会大得多。

另一个绕不开的事实:中国在这条赛道上并不落后。字节的电解液论文就是例子,杜伊南也确认,这个领域很多出色的工作来自中国,而且背后是实打实的经济含义。拉本兹特别提到,他一直用这类例子提醒自己和听众:别误以为领先很多,误判最危险。

安全性上,这个方向比材料科学更宽。贝克(David Baker)组最近在Science上用神经网络势设计新的药物分子,药物与蛋白结合强度的最好结果也出自这类模型。能设计药,理论上就能设计有害分子,双用途问题在这里同样成立。

节目末尾还聊到麻省理工Tegmark团队的KAN架构,把网络边上的权重换成可学习的函数,更可解释,也更擅长组合。杜伊南的态度是值得试,但最终要看计算效率,机器学习社区最值钱的传统就是动手验证,别提前站队。

明天就能用的四件事

这期节目对普通读者的价值,在于它演示了一套可以复用的判断框架。

第一,判断自己的领域能不能被AI加速,问三个问题:训练数据能不能低成本生成?答案对错能不能自动验证?最贵的那个计算步骤能不能换成网络?三个都是,就是甜点区。杜伊南的原话是,AI这个工具极其强大,但核心挑战永远是训练数据,要去找那些能高效、多样、高质量生成数据的问题。

第二,学会主动学习这个循环。先用小数据训练,跑长模拟,盯着模型的不确定性指标,哪里不确定就在哪里补第一性原理计算,再训练。整个过程全自动闭环,不需要人工标注。对比一下大语言模型那边,判断幻觉还得靠人,这里的ground truth随时可以现算。

第三,做材料、化学、药物相关工作的,可以直接去试开源的通用力场,比如MACE-MP-0。把它当第一估算工具,再针对自己的体系补一点数据微调。先例已经证明,好的基座加少量新数据,远比从零训练划算。

第四,温度、压力这类条件参数,优先交给物理引擎处理。势能面本身不依赖温度,温度由恒温器控制,所以换个温度跑模拟几乎是免费的。别让神经网络去学它本来不用学的东西。

杜伊南还提到一条正在成型的路:纽约时报报道过药企的自动化实验室,机器人昼夜不停地做实验产数据;另一条路是用量子化学随需生成数据。两条路都通向同一个地方,数据飞轮。他对未来的判断是,这类工具会让科学发现的速度提升一到两个数量级,虽然他也提醒别过度炒作,不少资深教授还在怀疑。药物研发那种靠直觉和试错推进的日子,可能真的进入倒计时了。

Explore the fusion of AI and computational chemistry with University of Queensland's researcher, Tim Duignan. Learn about transforming our understanding of electrolytes, the art of simulating physical processes using neural networks, and the potential of AI in scientific breakthroughs. Discover Tim's journey creating AI models for complex system predictions and join the discussion on advancing AI's role in future scientific discoveries.

Apply to join over 400 founders and execs in the Turpentine Network: https://hmplogxqz0y.typeform.com/to/JCkphVqj

RECOMMENDED PODCAST:
Byrne Hobart, the writer of The Diff, is revered in Silicon Valley. You can get an hour with him each week. See for yourself how his thinking can upgrade yours.
Spotify: https://open.spotify.com/show/6rANlV54GCARLgMOtpkzKt
Apple: https://podcasts.apple.com/us/podcast/the-riff-with-byrne-hobart-and-erik-torenberg/id1716646486

SPONSORS:
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention “Turpentine” to skip the waitlist.

CHAPTERS:
(00:00:00) About the Show
(00:02:47) Introduction
(00:04:09) Why electrolyte solutions are important
(00:06:53) What properties are we trying to predict with electrolyte solutions?
(00:09:33) Battery fires
(00:13:38) Molecular dynamics
(00:16:40) Time step
(00:18:51) Scaling
(00:23:09) Sponsors: Oracle | Brave
(00:25:17) Decoherence
(00:27:23) Neural Network Potentials
(00:31:04) How big are the models?
(00:35:46) What architecture is used?
(00:38:12) Equivariance (Part 1)
(00:42:29) Sponsors: Omneky | Squad
(00:44:15) Equivariance (Part 2)
(00:44:16) AlphaFold3
(00:46:52) Zero-shot latent space communication
(00:48:21) What is coarse graining?
(00:54:31) How to know if there is no crystallization
(00:56:53) What is the role of water in the simulation?
(01:01:25) Crystallization
(01:05:26) Matching surfaces
(01:09:32) Self-ionization of water
(01:13:22) Active learning
(01:16:41) Temperature
(01:19:20) Ice and water
(01:21:12) Scaling up the model
(01:25:21) Big tech singularity
(01:27:54) China is not far behind
(01:29:15) Safety concerns
(01:31:16) KANs
(01:34:36) The future of scientific progress
(01:39:28) The art of discovery
(01:43:02) One model to rule them all
(01:47:46) AGI, its risks and benefits
(01:50:21) Power vs. Generality
(01:53:01) Generality for Utility
(01:53:40) Outro

本集资源与出处