3亿美元、30个人、200K超导:ChatGPT 联合创造者为什么转身去炼材料
Training an AI Scientist with Feedback from Reality, w- Liam Fedus & Ekin Dogus Cubuk (from a16z)
a16z 的 Anjney Midha 与 Periodic Labs 的 Liam Fedus、Ekin Dogus Cubuk 谈用真实物理实验而非数字奖励训练前沿模型,以及材料自动合成的前景。
常压下高温超导的最高纪录,目前是 135 开尔文。大约零下 138 摄氏度。这个数字在过去几年几乎没有实质性突破。
2025 年 10 月,一家叫 Periodic Labs 的公司宣布拿到 3 亿美元种子轮,a16z 领投。公司总共约 30 人。两位创始人一位是 ChatGPT 的联合创造者、前 OpenAI 后训练研究 VP Liam Fedus,另一位是前 Google DeepMind 材料科学与化学研究负责人 Ekin Dogus Cubuk。他们给公司定的北极星,是把那个 135K 的数字往上推,推到 200K 甚至更高。
这期 a16z 播客由普通合伙人 Anjney Midha 主持, Cognitive Revolution 做了交叉发布。对话的重点不在融资故事,而是一个更硬的问题:为什么大模型在数学和代码上已经很强,到了物理和化学却依然不够用,以及要补上这一块,需要付出什么代价。
两人八年前在健身房翻轮胎认识
Liam 和 Dogus 的相识场景很不像一场 AI 创业的前传。八年前在 Google Brain,健身房里有只巨大的轮胎,一个人翻不动。Dogus 先试,没成功,扭头去找当时能找到的最壮的人,找到了 Liam。两个人一起把轮胎翻了过去。
之后几年他们保持联系,聊的话题经常滑向量子力学和超导。Dogus 在 DeepMind 做材料研究,Liam 在 OpenAI 做语言模型。两条线看起来平行,直到 Dogus 发现自己开始频繁用 LLM:查忘记的化学知识,写模拟代码,模型已经变成工作流里绕不开的工具。于是问题变成:能不能让 LLM 成为物理研究里的一等公民。
Liam 那边的观察是另一面。语言模型在推理上的进步、高算力强化学习的效果,都在快速累积;材料科学那边,模拟和实验也各自呈现出类似扩展定律的规律。两边都到了某个临界点,缺的是把它们接起来的那根线。
「聊天机器人是一个伟大的里程碑,但我们真正想看到的是技术走到真实世界里去。」Liam 在节目里这样解释离开 OpenAI 的动机。
核心论点:科学需要真实的奖励函数
要理解 Periodic 在做什么,得先理解今天的前沿模型是怎么被训练出来的。Liam 用 ChatGPT 的早期流程做了拆解:先有一个预训练模型,像一块原材料,然后用监督数据告诉它什么样的输出是好的,再用人类偏好训练出一个奖励函数,让模型对着这个奖励函数做强化学习。
问题出在奖励函数能判断什么。早期 ChatGPT 的奖励函数编码的是「做一个友好的助手」,它对数学是否正确、代码是否有效几乎没有感知。后来几年最大的进步之一,就是把奖励函数做得越来越精确:数学题有标准答案,代码有单元测试,这些都是可以程序化验证的。
但这些都是数字世界里的验证。Liam 的判断是,科学的终点在真实实验,所以如果你真的在乎加速科学,就必须把实验放进循环里。
Periodic 的做法是造一个物理奖励函数。模型提出假设,调用模拟工具做计算,然后真的去实验室合成材料、测量性质,测量结果作为信号回传给模型。用 Liam 的话说,自然界就是他们的强化学习环境。
Dogus 补充了一层区分。AI 圈子里说「lab」,通常指研究机构。Periodic 说的 lab 是字面意义上的实验室:有粉末、有炉子、有测量设备。他们第一个实验室做的是粉末合成,把现有材料的粉末混合、加热到特定温度,生成新材料的做法。这个方法便宜、简单,机器人就能操作。Dogus 拿旧金山机场那个做咖啡的机器人打比方:那个水平的机器人就能混合粉末、放进炉子。
而粉末合成能覆盖的领域相当宽:超导体、磁体、各种对技术关键的材料。底层都是量子力学,都是薛定谔方程那个能量尺度上的事,生物、化学、材料都发生在这一层。
为什么现有模型做不到这件事?Dogus 的答案是,科学本质上是迭代的,而 LLM 再聪明,如果没有迭代的机会,就不会发现科学。把一个人关在房间里不让他做任何实验,他也发现不了重要的东西。模型缺少的是科学探究的方法本身:做模拟、做理论计算、做实验、拿到大概率不对的结果、再迭代。
Liam 从三个角度论证为什么必须自己造实验室:
- 数据噪声太大。团队里有工程师查过文献里某个物理性质的报道值,跨度达到好几个数量级。在这样的数据上训练,模型最多复现这个分布,离真正理解宇宙还差得远。
- 负结果几乎不发表。发表出来的基本都是正结果,而一个有效的负结果是非常有价值的学习信号。负结果通常又高度依赖上下文,别人做的负结果换个条件可能就是正的,所以这批数据在文献里几乎是缺失的。
- 科学需要行动能力。不能只坐在那里读论文,得能动手做,才能完成迭代闭环。
扩展定律在物理上为什么不够用
主持人 Anjney 提了一个很尖锐的问题。既然扩展定律一直成立,只要继续加算力和数据,模型能力就会可预测地提升,那为什么不能靠现有前沿实验室的预训练和后训练管线,直接把物理也顺便攻克了?
Liam 先承认扩展定律在经验上仍然成立,没有争议。Dogus 接过话头,问了一个关键问题:这个 y 轴到底是什么?
他的解释值得细看。在计算机视觉里早就有类似观察,领域内泛化和领域外泛化是单调相关的,但相关不等于线性。你在训练分布内提升模型,性能按幂律上升;在分布外,性能也按幂律上升,但斜率可能非常小。小到什么程度?可能小到你得花几个世纪才能到达目标。
他们自己发过一篇论文,专门看这件事:训练集越大,分布内性能按幂律提升,分布外性能也按幂律提升,但后者的斜率取决于你离训练分布有多远。离得远,幂律斜率小到基本没用。
Liam 用代码模型举了个更具体的例子。假设训练一个代码模型,用单元测试做奖励信号,模型写 PR,测试从失败变通过,就强化这个行为。这个循环可以不断加速,代码本身又是最容易自我改进的领域,因为网上数据充足。这条路径非常promising,整个行业都看到了代码模型的进步速度。
但这个模型不会因此治愈癌症。知识根本不存在。你需要对着你在乎的那个分布去优化。代码模型会是一个极好的软件工程工具,也能帮癌症研究者做分析,但它没有那个环境里的数据、知识和迭代经验。
还有个更朴素的原因:想要的数据本身就不存在。Dogus 举了合成的例子,文献里的生成焓标签噪声大到训练出来的模型没有预测能力。超导的数据集不少,但噪声底太高,训练了基本没用。
所以 Periodic 的策略是把目标尽量拉近训练分布。具体做法就是自己生产高质量数据,自己完成迭代闭环,让目标分布和训练分布尽可能重合。
为什么选超导当北极星
Anjney 问了一个投资人会关心的问题:选超导和磁性材料作为第一批管线,是因为它们本身重要,还是因为它们只是通往通用 AI 物理学家路上的停靠站?会不会变成一条偏航的岔路?
Dogus 的回答分三层。
第一层是目标嵌套。高温超导这个目标本身包含无数子目标。想要做出高温超导,得先搞定自主合成、自主表征,得让 LLM 能正确运行模拟、正确表征材料的各个方面。这有点像 DeepMind 和 OpenAI 当年说要做 AGI,实际含义是得先做出一堆很酷的结果。北极星的意义在于它逼着你在路上完成一连串有独立价值的子目标。
第二层是科学上的根本性。Dogus 说,如果能找到 200K 的超导体,哪怕还没做出任何产品,光是能在这么高的温度下看到这样的量子效应,就足以更新人类对宇宙的看法。这个目标的哲学价值独立于商业价值。
第三层是技术上的可操作性。超导是相变,对某些现在还模拟不了的细节比较鲁棒。做材料的时候,超导转变温度主要由晶体的基本性质决定,缺陷和微结构的影响相对小。换成别的材料性质,哪怕晶体本身有你要的性质,还有很多模拟不了的因素会把它盖住。这个技术特性让超导成为一个相对干净的验证目标。
还有个团队层面的理由:超导能团结所有人。研究了四十年物理的老教授对它兴奋,从没学过物理的人也对它兴奋。很难找到另一个话题能同时 rally 整个团队。
当前常压下的最高纪录是 135K 左右。Dogus 说,他们能不能把数字推过这个线,是非常容易判断的进度指标。这个信号很难作弊,不像别的 LLM 训练技巧,真实世界里测到的就是发给模型的信号。
30 人的团队,一半物理一半 ML,不要求高级学位
团队构成大约一半是 ML 背景的科学家,一半是物理或化学背景的科学家。Anjney 问怎么把两种文化捏到一起,毕竟一边的职业习惯是湿实验室里的实验,另一边是训练管线里的超参数。
Dogus 的答案是让两边贴得很紧。物理学家和化学家需要想清楚,中训练和强化学习里该放哪些步骤,才能教会 LLM 正确推理量子力学和物理系统。LLM 研究者则在学物理、学模拟工具、学目标本身。每周有教学课,ML 那边讲 RL 循环怎么跑、数据清洗怎么做,物理化学那边讲科学的各个侧面,包括科学史。
Liam 补了一个观察:计算机科学家习惯用 API 思考。科学家说一件事,他们脑子里会自动映射:输入是什么,输出是什么,目标是什么,怎么接回去。这个过程本身就是一种翻译。
团队里还有一种人,处在纯 ML、纯实验、纯模拟这个单纯形的中间位置,充当不同群体之间的桥梁。Dogus 被认为是典型例子。
Anjney 问了一个很多人会关心的问题:加入 Periodic 需要物理或化学的高级学位吗?
Dogus 的回答很干脆:完全不需要。他引了一个 NBA 球员的说法,「我比你离勒布朗近得多」,然后说他们对候选人的说法正好相反。哪怕是最好的物理学家,他对物理的无知也远大于他已知的部分。一个新候选人哪怕没有物理背景,需要学的东西和最好的物理学家需要学的东西,量级上差不多。
他接着讲了一段科学史。十九世纪的物理学家能在前沿做好几件不同的事。今天知识体量已经大到,一个顶尖思想家通常只能在一个很窄的领域推进。而要发现一个了不起的超导体,你得同时懂化学、物理、合成、表征,没有哪个人类懂这么多。所以必须协作。团队本身就是这个困境的一个小型演示。
Liam 补充文化层面:「没有蠢问题」。最基础的物理问题、最基础的 ML 问题,都可以问。团队里有几位 faculty,教书教得很好,这些学习课质量很高。
中训练:把新知识灌进权重,而不只是检索
节目里讨论到一个容易被忽略的技术细节:mid-training,中训练。
Liam 解释了这个词的来历。预训练之后有后训练,但有时候你需要再往里加一点知识。搜索还没做好的时候,新鲜度是个问题:预训练模型有知识截止日期,用户要更新的信息。把新数据继续预训练进去,就是中训练。它和后训练的区别在于,后训练更多是强化学习和监督学习,中训练的目标就是把模型原本没有的大量知识灌进去。
在 Periodic 的语境里,中训练意味着把晶体结构的低层描述、材料合成的高层语义描述、模拟数据、实验数据,全部灌进模型。关键不只是混进去,而是让这些分布之间产生连接。Liam 的原话是,如果只是把分布 A、B、C 混在一起,不保证泛化。你希望看到的是,加入另一个数据集能提升在其他数据集上的表现。
这背后有一个和客户相关的现实问题。很多先进制造业公司现在依赖检索,检索是很轻的方案,有人带着神经网络来,说把所有数据检索一遍就是解决方案。但预训练和中训练是把知识编码进权重,模型对材料有更深的理解,不只是检索系统。麻烦在于权限:检索可以按用户权限匹配,预训练如果吃了只有 CEO 能看的数据,就得想清楚怎么给知识分桶、造不同类型的系统。
Liam 观察到,这些公司现在做的监督训练,很像 ChatGPT 的早期阶段:输入输出,几个例子。他们需要切换到高算力强化学习这套思路,学会怎么为这些问题做有效的工具使用,怎么有效优化。
商业模式:先进制造业的智能层
Anjney 提了一个类比。其他前沿实验室的北极星是 AI 研究员,路上先跑出来的是 AI 编程,软件工程成了第一个让所有人更新认知的领域。那 Periodic 的「AI 编程」是什么?
Liam 的答案:先进制造业里的工程师和研究员的 copilot。硅谷习惯把一切都想成数字的、比特的。但航天、国防、半导体这些行业,工作流里绕不开材料和物理的迭代。他们在设计新器件、新技术,缺数据、缺好系统,手里没有特别好的工具。这些行业的研发预算极其庞大,这就是机会。
高温超导是好的北极星,但技术和资本是缠在一起的。Liam 说得很直接:只有这家公司商业上极其成功,才能最大程度加速科学。所以路径是成为这些行业的智能层,缩短他们的迭代时间,让他们的研究员和工程师更快拿到更好的解。
落地的打法是 land and expand。不是第一天就说要改造整条产线、忘掉过去所有做法,而是找一个范围清晰、评估明确的关键问题,和客户一起把评估标准起草出来,证明对着他们在乎的东西优化之后,这项技术有多强。然后找公司内部最大的推动者,把技术能力最强的地方和客户最真实的问题对上。
Anjney 问到今早和 pipeline 里某个客户的通话。Dogus 说,客户最急的问题之一是模拟。他们花大量时间培训人使用某些关键的模拟工具,能把这些模拟自动化会很有帮助。设计流程里还有一些小事,比如格式匹配、把模拟结果喂进设计管线、把数据放在同一个地方处理。
Liam 补了一个更根本的问题:客户现在没有好办法把知识蒸馏进单一模型或一组模型。而且他们做的监督训练还停留在 ChatGPT 早期那种输入输出的范式,需要切换到高算力强化学习。
和学术界的关系,以及他们想招什么人
Anjney 问,物理科学的基础研究历史上大多在大学实验室完成,学术界在 Periodic 的未来里还有位置吗?
Dogus 的回答是绝对有。他们用的很多模拟工具是学术界开发的,很多在欧洲,很多新颖的合成方法也来自学术界。有些模拟工具是复杂的 Fortran 代码,团队自己未必能高效开发。学术界和产业实验室之间有很深的协同:大规模模拟常常在微软、DeepMind、Meta 这样的产业实验室跑,但工具本身往往是学术界先做出来再传过去的。
Liam 补了一个更具体的角度。Anjney 之前在斯坦福物理实验室做过一批模型的评估,结论是模型在科学分析上很糟糕。Liam 说,因为没人训练它们做这件事。学术界可以告诉产业界,哪些任务是重要的,分析该怎么做,哪些技能该放进模型。技能可以是一整套分析,也可以是更大分析里的一个小原语。
他举了个例子。团队里一位物理学家看模型的推理策略,说全错了。追问下去,对方说,应该往更高层想,应该用对称性来想,有本书专门讲这种更有效的思考策略。强化学习环境需要奖励这类策略。最顶尖的科学家在用这些策略,它们大概率有效。这类事情产业界是盲的,学术界能补上。
Dogus 把这个话题接到工具上。语言很重要,但人脑里还有视觉处理和几何处理。LLM 会越来越好,但它们也可能受益于独立的几何推理能力。今天可以用等变图神经网络、用扩散模型来做,这些工具在构造上就是几何的,LLM 可以调用。语言适合合成配方,几何适合表示原子和设计几何结构。
学术合作有两个具体动作。一个是顾问委员会,覆盖超导、固态化学、物理。名单包括斯坦福实验方向的沈志勋、理论方向的 Steve Kivelson、西北大学的 Mercouri Kanatzidis 做合成、Chris Wolverton 做高通量 DFT。另一个是 grant 项目,接受提案,支持学术界在 LLM、合成中的 agent、材料发现、物理建模方面的工作。
招聘标准,Liam 列了几条:深度好奇,真的想更深地理解 ML 和科学,想和现实接触,想推进科学,同时务实。他们要的人有非常细致的过程,解决方案导向,能快速到达目标,在某个维度上是世界级的。Dogus 加了一条:紧迫感。他们不想等十年才让 LLM 开始改进科学,要 ASAP。
明天就能用上的三件事
这期对话信息密度很高,但如果只带走三件能马上用的事,我会选这三件。
第一,检查你所在领域的数据是不是真的能用来训练。Periodic 放弃文献数据的原因很具体:噪声跨度好几个数量级、负结果不发表、数据分布和目标分布差太远。如果你在做垂直领域的 AI 应用,先做一次数据审计,看标签的噪声水平、看有没有系统性的选择偏差、看你想要的输出和现有数据之间隔了多远。这三项里任何一项不过关,堆算力都补不回来。
第二,把「分布外泛化的斜率」当成一个评估维度。Dogus 那个幂律斜率的观察很实用。模型在训练分布内表现好,不代表它在你要用的场景里也能按同样速度变好。下次评估模型时,除了看 benchmark 分数,问一句:这个 benchmark 离我的真实用例有多远?如果很远,幂律斜率可能小到让你等不起,那就得考虑自己造数据、自己闭环。
第三,重新想一遍你的「检索还是训练」的选择。Liam 提到很多先进制造业公司现在靠检索,轻量、好上线,但知识没有进权重,理解深度有限。如果你的场景需要模型对领域有深层理解,而不只是把文档找出来,那 mid-training 这条路值得认真评估。代价是权限管理和数据治理会复杂很多,收益是模型真的懂你在说什么。
3 亿美元、30 个人、一个 135K 到 200K 的目标。这个赌注能不能成,几年后才知道。但它提出的问题对所有做 AI 应用的人都成立:你的奖励函数,离真实世界有多远?
Today’s special crosspost features a16z General Partner Anjney Midha with Liam Fedus and Ekin Dogus Cubuk of Periodic Labs. They discuss experiments in training frontier AI models on real-world physics lab experiments—rather than digital reward functions—and how coupling language models with automated materials synthesis could accelerate the discovery of room-temperature superconductors and transform R&D in advanced manufacturing.
Shownotes brought to you by Notion AI Meeting Notes - try one month for free at: https://notion.com/lp/nathan
Core innovation: Periodic Labs is creating a "physically grounded reward function" by integrating experiments directly with AI systems.
Physical lab integration: Unlike traditional AI labs, Periodic includes actual physical experimentation facilities where AI can run tests in the real world.
Novel approach to training: Periodic takes pre-trained language models and further trains them on physics and chemistry knowledge to improve performance in scientific domains.
Read the full transcript here: https://storage.aipodcast.ing/cache/combinedtranscript-20251002T100327544Z.html
Sponsors:
Linear:
Linear is the system for modern product development. Nearly every AI company you've heard of is using Linear to build products. Get 6 months of Linear Business for free at: https://linear.app/tcr
AGNTCY:
AGNTCY is dropping code, specs, and services. Visit AGNTCY.org. Visit Outshift Internet of Agents
Claude:
Claude is the AI collaborator that understands your entire workflow and thinks with you to tackle complex problems like coding and business strategy. Sign up and get 50% off your first 3 months of Claude Pro at https://claude.ai/tcr
Shopify:
Shopify powers millions of businesses worldwide, handling 10% of U.S. e-commerce. With hundreds of templates, AI tools for product descriptions, and seamless marketing campaign creation, it's like having a design studio and marketing team in one. Start your $1/month trial today at https://shopify.com/cognitive
PRODUCED BY:
https://aipodcast.ing
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


