机器人臂拍几个月的镜头，一行提示词就能生成：Luma Labs 把视频模型讲透了

美剧《人生切割术》第二季的开场镜头，Apple TV Plus 的团队用一条机器人臂拍了几个月，播出后成了全网热议的名场面。2025 年，这个叫 Bolt Cam 的运镜动作成了 Luma Labs 视频模型 Ray 2 里的一个预设概念，用户敲一行字就能出片。

这是 2025 年 5 月 11 日播客 Cognitive Revolution 的内容。主持人 Nathan Labenz 请来 Luma Labs 的 CEO Amit Jain 和首席科学家宋佳铭（Jiaming Song），陪聊的还有 Steven Parker，Waymark 的创意总监，从初代 DALL-E 算起，他在图像和视频生成工具上已经堆了上万小时。

两个人聊了产品方法论、扩散模型的学术史、可解释性，还放了几句相当尖锐的狠话。下面按话题拆开讲。

脚手架的宿命：先在外面搭，最后搬进模型

Steven 先问了个创作者都关心的问题：很多工作流先出 AI 图再转视频，图里经常出现牛油果椅子配腌黄瓜这种怪东西，模型怎么学会处理这些训练数据里根本没有的场景？

Amit 的回答奠定了整期节目的基调：模型没有记住任何具体行为，它们提炼的是基础概念。什么叫拟人、什么叫坐下、什么叫椅子。腌黄瓜坐牛油果椅子这种画面，训练数据里一条都没有，但椅子的概念、坐的动作、拟人化的形象，模型都懂。基础理解越扎实，遇到分布外的怪场景就越稳。

顺着这个话题，Amit 抛出了全场最实用的一条行业规律：凡是能在模型内部完成的事，效果都会好过在模型外部硬凑。

他拿自家产品举例。初代 Dream Machine（现在回溯改名叫 Ray 1）外面挂了一堆辅助系统，帮它理解动作、翻译词汇。到 Ray 2，这些拐杖连 10% 都用不上了。但用户又开始推着模型干新活，比如角色一致性，这套理解目前完全放在模型外部，到 Ray 3 会全部内化。

他打了个生理学比方：生成模型和外部世界之间隔着一道血脑屏障。模型内部的智能水平其实很高，用户的智能水平也很高，中间就是通不过去。所谓可控性，就是想办法穿透这道屏障，把意图准确传进潜空间。

反面教材他点名了 Jasper，那家 AI 文案公司。创意本身很好，但语言模型一旦把同类能力内置，外部系统的价值迅速蒸发。应用层公司反复上演这个剧本：先在现有模型外面包一层系统解决具体问题，等下一代模型把这能力学进去，护城河就没了。

Nathan 追问有没有具体例子。宋佳铭给的答案是运镜。Ray 1.6 时代就有运镜功能，但难控制、质量一般。现在的版本里，Bolt Cam 这类概念不需要用户写出相机外参，直接就能用。下一代想做的是介于全自动和手动指定坐标之间的交互式编辑：让这个镜头快一点、慢一点、换个角度、换个拍摄主体。

宋佳铭补了一个朴素的标准：跟模型协作的理想状态，应该像跟人协作。你不需要给同事的大脑编程，他也能明白你要什么。现在的视频模型还不够聪明，得明确告诉它这是图生视频任务、那是关键帧任务。将来模型应该自己分清这些，根本不当作不同的任务。

Amit 还引了 Anthropic 那篇关于思维链的论文：思维链输出的文字，未必反映模型真实的思考过程，更像是给潜空间播种的一种方式。语言模型圈已经验证过类似的路径，与其从外部强迫模型吐 JSON，不如让模型本身擅长结构化输出，Agent 能力就上来了。多模态大概率会重演这个过程。

几个样本，教会模型一个 Bolt Cam

视觉模型还没有语言模型那种上下文学习能力。语言模型看几个例子就能照猫画虎，视觉模型做不到。但创作者总想教模型新东西：一种运镜、一种调色、一个姿势。这些东西互联网上没有数据，也没法批量造样本来微调，传统微调或 LoRA 训完还经常伤及原有能力。

Luma 的方案叫 Concepts，配套工具叫 Concept School，名字很直白：把模型送去上学，用户当老师。模型从一两个、几个样本里学会一个新概念，原有能力不退化，概念之间还能组合。Bolt Cam、推轨、反向推轨，都是这么教会的，用的样本极少。Amit 说接下来每周都会放一批新概念，目标是把电影制作的全部知识用这种方式教给模型，最终把教学能力开放给用户。现在技术还比较挑，暂时没开放。

选概念的标准也有意思，两头下注。一头是每天被专业人士重复几千次的基本叙事工具：跟拍、左移、右移。另一头是现实里普通人根本做不了的：Bolt Cam 那种平滑追踪，真要拍好得有机器人臂。Amit 的原话是，MKBHD 有一台，James Cameron 肯定有几台，但我们大多数人没有，那就把它放进模型里。

龙不存在，但模型必须认识龙

Luma 的官方使命是造多模态通用智能。Amit 的描述很具体：LLM 体现的智能像人类的抽象思维，多模态智能则更像一个摆在面前的世界，有物理属性、有物理现象、有会互动的智能生物。大家爱说世界模拟器，他觉得 simulation 这个词太弱，这就是一个世界模型，外部宇宙的物理显形，只是个近似体。

Nathan 抛出一个尖锐问题：模型学了太多虚构内容，龙、魔法，这对要干实事的 AGI 是不是负担？机器人要进我家做咖啡、吸地，认识龙有什么用？

宋佳铭的回答分两层。短期看，偏物理现实的任务确实适合更写实的模型，幻觉少。但他举了个例子：让机器人把一件印着龙的 T 恤放进洗衣机。如果模型不认识龙，这活就干不了。龙这种虚构概念，本身就是蜥蜴的身形、爬行动物的鳞片、蝙蝠和鸟的翅膀拼出来的，是人类用真实世界的素材做的分布外生成。虚构知识对物理任务照样有用。

长期看，他认为模型应该能分清自己在哪个世界里干活。虚拟世界里的 Agent 已经是现成的例子。未来的机器人应该既能把龙纹 T 恤扔进洗衣机，也能转身到电脑上回一封邮件，就像人类能在物理世界和想象世界之间自由切换。

Amit 还给了个更宏观的判断：视频模型在通往通用智能的关键路径上。他的论据是讲故事。讲故事要求推演因果链，事件 A 导致 B，B 导致 C，这是衡量智商的很好指标。让智能系统做梦、编故事、偏离规则，才能得到真正的智能系统，只会遵循规则的叫程序系统。他还提到一个反差：大家原以为最先被自动化的会是机械劳动，结果 AI 先帮上忙的偏偏是创意工作，因为创意才是最吃智能的环节。

可解释性是考古，训练才是参与造物

这是 Nathan 自己说全场最有意思的部分。

Amit 的立场很硬：模型规模大到人脑根本没法吃透，指望给模型画出一套连贯一致的人类可读解释，注定徒劳。现有的事后解释工作，他比作考古：把模型已经学到的东西拼回来。Golden Gate Claude 那种实验，找到金门大桥概念对应的方向，人为放大它，模型满嘴金门大桥。Nathan 拿这个反问，Amit 承认这属于对黑盒做的经验实验，有价值，尤其面对别人家的模型时。

「在物理世界，我们只能考古。但在模型这里，我们亲自参与了这颗行星的形成和它经历的每一个纪元。这个过程叫训练。」

所以他的主张是，与其事后挖化石，不如去理解数据和训练过程本身。他透露了 Luma 内部的一些做法：训练时做大量信息论分析，搞清楚高频细节、低频细节在信息流架构里怎么走，模型早期学什么、后期学什么，什么时候该换课程表。结论之一：信息论通道在前两三万次迭代就定型了。他打了个比方，模型初始像一片均匀的玉米田，训练早期有人在里面踩出小路、踩出麦田怪圈，这时候的数据分布和学习率策略决定了后面的走向；后期训练主要是在强化或弱化这些路径，有人把怪圈踩回去。

Nathan 追问是不是逐批次手工配数据。Amit 说没到那个程度，方向反了：训好模型，从来别指望喂几十亿条垃圾数据让它自己悟，正确做法是大规模地喂好例子，前置的清洗、过滤、去垃圾才是重头戏。

宋佳铭补了一层理论困境：训练算法默认独立同分布假设，但世界分布本身怎么定义都是问题。语料里该放多少英语，没法按使用人口推，理论层面推不动，只能靠实验摸索，解法注定很乱。至于模型内部有没有区分现实物理、魔幻场景、游戏环境的特征，他坦承自己不算可解释性专家。他的浅见是，与其在模型里找某个神经元，不如让模型直接干活，很多最先进的深度估计模型就是拿预训练生成模型当底子做的。人类神经元和模型神经元之间的接口还没焊好，暂时只能靠双方都懂的语言来沟通。

Amit 还有个更狠的类比支持自己的立场：我们最好的物理理论量子力学完全不可解释，测量精度验证到 6 到 8 个 sigma，有的甚至到 23 个 sigma，但没人知道世界为什么是这样。要求机器像人一样思考、像人一样可解释，在他看来既压低了机器的能力上限，也浪费研究者自己的时间，那些时间应该拿去把注意力机制扩展得更好、设计更高效的学习算法。

飞机不扇翅膀，也能飞

Steven 提了个很多创作者都嘀咕的问题：模型到底是理解了三维世界，还是只是把二维像素空间的运动学得越来越熟？他个人倾向后者，训练里并没有什么 3D 脚手架。

宋佳铭的回应是拿图灵测试类比：图灵测试不问模型内部是不是用人类的语法表征世界，只问聊起来像不像人。视觉生成同理，模型内部未必装着人类定义的物理知识，但从实用角度，能连续预测出一致的物理场景，就算通过了视觉生成的图灵测试。

Amit 走得更远。他说人类其实也没有真正的 3D 感知。人有双目视觉，但立体视差在 20 厘米外就几乎归零。独眼的人戴着眼罩照样能开车，顶多近距离抓个杯子费劲。大脑靠手和本体感觉补信号，很难说脑子里真维护着一个 3D 表征。

然后是那组类比：飞机会飞，但不扇翅膀。鸟和飞机产生升力的现象相同，机制完全不同。洗碗机没有手，碗照样洗干净了。凭什么要求机器内部必须装一个网格状的 3D 表征才算理解？人脑是 20 瓦的有机组织，模型跑在吉瓦级集群上，基底都不同，凭什么要求思考方式一样？

扩散模型简史，和多模态的路线之争

节目后半段，宋佳铭讲了一段扩散模型的学术史，Nathan 称之为大师课，说全世界大概没几个人比他更有资格讲。

起点是 2015 年 ICML 的一篇论文，作者 Sohl-Dickstein，第一次写出了扩散模型前向和逆向过程的算法。当时只在 MNIST 上做实验，没人理。研究者的心态是，GAN 一步出图、效果又好，谁去折腾这个又难懂又慢的东西。

转折点是 2020 年 Jonathan Ho 等人的 DDPM。它把这个想法做到能跟 GAN 掰手腕，更关键的是训练稳定。宋佳铭说这点对从业者是天大的事：GAN 训练会在毫无征兆间崩掉，你得熬夜挖原因；扩散模型训着训着只会慢慢变好，你可以去睡觉。扩散模型靠稳定性上位，哪怕当时生成一张图要跑一千次网络。

宋佳铭自己的贡献是 DDIM，把生成速度提速 20 到 50 倍。同期斯坦福同门的 Yang Song 走理论路线，把离散时间步连续化，接上了 1980 年代 Anderson 的随机微分方程框架，打通了扩散模型和去噪分数匹配。

再往后是 OpenAI 把模型训上 ImageNet，用分类器引导来控制输出方向；接着 Jonathan Ho 和 Tim Salimans 搞出无分类器引导，本质是贝叶斯公式的应用，用同一个模型的无条件分支和有条件分支相除，省掉了额外训分类器。2022 年初 OpenAI 的 GLIDE 把文本接进来，几个月后谷歌出 Imagen，再几个月后 Stable Diffusion 发布，开源生态爆发。

下半场是效率。宋佳铭给生成模型定了三个标准：样本质量高、训练稳定、采样快。GAN 输在稳定，扩散模型输在采样慢。渐进蒸馏每次把步数砍半，来自 Jonathan Ho，但实现繁琐难训。2023 年初的 Consistency Models 想单阶段训练一步到位，问题是训不稳，实践中大家更多用它的蒸馏版本，还得先从扩散模型初始化。另一路基于 GAN 的蒸馏，步数少时质量更高，训练却更不稳。老问题又回来了：稳定和质量的取舍。

宋佳铭的新工作 Inductive Moment Matching（归纳矩匹配）想同时满足三件事。核心思路是把一致性模型的逐点匹配推广成分布层面的匹配。模型不需要精确复现某条生成路径，只要把分布对齐就行，约束一下子松了很多。数学工具借自统计学界至少 15 年前的最大均值差异（MMD），判别器不再是神经网络，而是再生核希尔伯特空间里的闭式函数，省掉了内层优化判别器的循环，训练过程稳得多。消融实验很直观：用 1 个样本做分布对比，训不稳；2 个，好一点但还是会崩；4 个以上，训练就稳了。

聊完历史，Nathan 问多模态的未来。Amit 说这话题是整个公司的地基，一集根本聊不完，但还是放了段狠话。

现在业界说的多模态，其实是被微调去处理图像、音频、视频的语言模型。这些模型在物体识别、分割、长程因果理解上，仍然比不过专用的计算机视觉模型。他打了个比方：这就像语言模型做出来了，理解自然语言却还不如 RNN，那显然路线有问题。

Luma 的路线是统一的单一潜空间，把所有模态当作一种信号来思考。他的理由很物理：自然从不区分视频、图像和音频，它们都是同一个模拟、同一个环境里发生的信号，同一个动作在不同模态里暴露出不同的侧面。他的判断是整个行业在多模态上短视，当然他补了一句，语言领域确实还有太多事可做，大家继续做没错。但真正解决多模态需要新方法，Luma 走的就是这条路。

明天就能用上的几件事

做视频生成的创作者，学 Steven 的工作流：先用图像迭代，再转视频。图像迭代快、生成便宜，出一百张挑出最接近脑中画面的那张，再拿去做视频。另外别单押一个模型，各家长短板差异很大，混用取长补短。Ray 2 的运镜概念库在持续更新，Bolt Cam 这种以前要机器人臂才能拍的镜头，值得直接上手试。

做应用层产品的创业者，把 Amit 那条规律贴在显示器上：能在模型里做的，最终都会比在模型外做的好。产品如果只是包在现有模型外面的一层脚手架，下一代模型发布那天就是倒计时结束之日，Jasper 的剧本随时重演。Luma 自己的做法反而是教科书：先用外部系统验证需求、解锁能力，同时准备把这些能力内化进下一代。

想补课扩散模型的研究者，按时间线读论文效率最高：DDPM 到 DDIM，到无分类器引导，到 Consistency Models，再到今年的 Inductive Moment Matching。一条线读完，基本就明白生成式 AI 的推理价格为什么一路跳水，质量却还在涨。