几MB的老游戏配几GB的模型，Runway CTO把视频生成的底牌讲透了

1993 年发售的《毁灭战士》，整个游戏只有几 MB。2024 年，谷歌的研究人员训练了一个扩散模型，逐帧复刻这款游戏的画面，模型体积按 GB 算，是原游戏的成百上千倍。

Runway 联合创始人兼 CTO Anastasis Germanidis 在播客 Cognitive Revolution 上被问到这项研究，给了一个相当克制的评价：方向有意思，但这可能是最差的证明案例。一个只会重放同一场游戏的模型，本质上就是一台效率更低的游戏引擎。真正值钱的是泛化：用一句话描述一个新世界，模型边生成边让你走进去。他真正看好的是 Genie 那类工作，从零生成可玩的平台跳跃游戏，还能泛化到没见过的环境。

这期节目的对话质量很高。主持人 Nathan Labenz 请来联合主持 Stephen Parker，他是营销技术公司 Waymark 的创意总监，也是用 AI 拍出电影《The Frost》的创作者之一，那部片子正在全球巡回展映，刚到新加坡。一个问战略，一个问产品，Runway 的家底盘了个遍。

先交代背景。Runway 成立于 2019 年，靠 AI 视频生成站稳市场，主持人称它几乎成了 AI 视频的代名词，Gen-3 被视为这个市场的领跑者。Anastasis 是三位创始人里管技术的那位。

视频，比文本更完整的世界记录

整期节目最核心的论证，回答的是一个很大的问题：视频生成凭什么算通往通用智能路上必须经过的一站？

Anastasis 的起点很朴素：人是视觉动物，在物理世界里活动，构成了人类经验的基本盘。大量人类任务都能装进视频这个载体。模型吃下海量视频数据后，会拿到两样东西：对 3D 世界的表征，以及对各种人类活动的表征。这些知识既能拿来生成视频，也能支撑机器人这类应用。

他给过一个判断：

相比视频，文本只覆盖了人类在乎的事情里小得多的一块。

他的框架是，一切对世界的表征，视频也好语言也好，都是现实的代理。视频这个模态自带的先验假设更少，能装下的东西更多。

Nathan 追问：那要不要直接上 3D 点云这类更丰富的表征？Anastasis 给了两个理由，说明 2D 视频就够了。第一，视频数据海量，3D 数据很难规模化获取，这也是 3D 视觉研究一直慢于 2D 的原因。第二，3D 知识可以从 2D 画面里学出来。Gen-3 已经表现出相当强的 3D 一致性，镜头按指定方向移动时，环境里的物体会像真实 3D 空间那样保持稳定。

模型自己学会了物理，人也别急着教

OpenAI 曾有个说法：物体恒存性、直觉物理这类能力，是规模的纯粹产物。Anastasis 的回应是，Runway 观察到的现象跟这个判断一致。

他举的例子很具体。Gen-3 能模拟液体，准确度超出一个没有流体力学先验的模型的应有水平。测试提示词里有一类是往煮沸的锅上浇水，这类交互暴露了模型内嵌的物理知识。就像一个从没人教过流体力学的孩子，看了足够多的视频，自己琢磨出了水会怎么流。这些物理直觉完全从数据和规模里学出来，团队没有往模型里塞任何关于物理定律的先验。

他也没回避短板。模型还不能完美遵循重力，生成一个弹跳球仍然有难度，问题没被完全解决。但把 Gen-2 到 Gen-3 的进步幅度外推下去，他看不到任何根本性障碍，更精确的世界理解会继续涌现。Gen-2 发布于一年多前，Gen-3 是最近的事，两代之间的跃升，他很大程度归因给算力，同时承认团队训练 Gen-3 时还做了不少别的事。

Nathan 问了一个技术圈热议的问题：MIT Tegmark 团队的 KAN 网络，第一作者刘子鸣，能学习激活函数，还能把抛物线这类物理算子直接编码进网络初始化。Nathan 的设想是，往网络里预置一个抛物线算子，弹跳球的重力问题也许就能修好。

Anastasis 说自己没细读这篇论文，但给了一个行业观察：很多号称超越主流架构的新架构，论文里的对比方式容易误导。常见问题是两个模型用同样的迭代次数对比，却没算每次前向传播消耗的算力差异，结论自然就歪了。真正能打赢现有架构的新架构，其实非常罕见。他自己的方法论是，少往模型里注入先验知识，把力气花在挑数据和设计整个训练方案上，这是更可扩展的路。Nathan 总结成一句，别看到第一篇论文就兴奋，然后补了句，这听起来像 Ilya 那句话，模型自己就想学，别替它过度设计。

他还给了个领域诊断：机器学习社区对架构的关注远超数据、目标和任务。翻一翻最近一届计算机视觉会议的论文，架构相关的占比明显失衡。数据重要，尤其是你通过数据教模型做什么任务，公开研究反而最少。

Nathan 又提到「柏拉图表征假说」：规模越大，不同模态的模型内部表征越趋同。Anastasis 说自己是这篇论文的粉丝，前面的话就是在呼应它。他的立场是，视频是比文本更通用的模态，但没必要只训视频，终极的通用系统必然要多模态，每个模态用它最紧凑的方式捕捉现实的一部分。行业把文本当成通往通用智能的必经之路，这个重心可能放错了。至于声音，他确认迟早会加进生成里，只是视觉质量的提升空间还没榨干，当前专注视觉是更优选择。

「我们不是 AGI 实验室」

Nathan 直接问：你们算 AGI 实验室吗？Anastasis 回答很干脆：不算，AGI 这个词的定义一直很模糊。

理由有两层。第一，拿图灵测试当 AGI 的标准，这个测试本身噪音太大，它判断的只是旁观者的感知。第二，AGI 隐含一个断点，到达即完成，他更相信连续进步的叙事。现实的复杂度在不同抽象层级上近乎无限，模拟现实没有「完成」的那一刻。而且人类能力本身跟着技术一起变，每项新技术都在改写「人是什么」，谈一个与人类智能平起平坐的时刻，逻辑上就站不住。Runway 给自己的定位是增强人类智能和创造力，通用智能体从来不在目标清单上。

那世界模拟器和创意工具冲突吗？毕竟用户拿 Runway 生成的大量内容是超现实的、魔幻的。Anastasis 的回答是个漂亮的反转：模型越好，越擅长幻觉，而幻觉恰好是创意工具需要的特性。模型从数据里把单个概念学扎实之后，就能以从未组合过的方式重组它们。Gen-3 已经能做到：镜头穿过一个环境，推开一扇门，门后是完全不同的另一个世界。这种分布外的输出，恰恰来自对分布内成分的深度掌握。

模型越好，本质上就越擅长幻觉。放在我们的场景里，这是个有用的特性。

Nathan 顺势追问：生成的视频够长之后，里面的小人会不会涌现出临时的「微型智能体」？比如生成一个人的一天，模型要预测他下一步做什么，就得内嵌某种推理能力。Anastasis 认为规模足够时完全可能涌现。Nathan 顺嘴补了句玩笑，这是「我们活在模拟里」的又一条证据。Anastasis 更兴奋的却是另一个方向：让用户持续介入生成过程，把这类模型当成新型渲染引擎、游戏引擎，做交互式体验。

可解释性也被问到了。Nathan 提到大语言模型领域用稀疏自编码器找到了一个个人脑概念，开玩笑问视频模型里是不是也藏着一个「魔幻现实主义」开关。Anastasis 说这是他很有兴趣的方向，投入正在加码，暂时没有可分享的结论。他点出了价值所在：真能定位这类概念，就等于拿到新的控制旋钮，想给画面加魔幻感，拧一下就行。

从绿幕工具到 Gen-3：发布文化的账

Stephen 把话题拉回产品，先当了一回粉丝，问 Runway 那股出了名的发布劲头从哪来的。

Anastasis 回忆，公司只有三个人的时候，持续发布近乎生存问题，不发声，世界就会忘掉你。如今技术跑得太快，持续发布能让用户跟上技术进展，压缩认知落差。内部还有一层收益：研究在几周到几个月内变成电影和艺术作品，这种正反馈是团队最重要的动力来源。

很多人不知道，Runway 在生成视频爆红之前就攒了一堆工具，调色、风格迁移、绿幕抠像。Anastasis 解释了这段历史：2019 年创立时，生成模型就是兴趣所在，只是质量撑不起生产级工具，于是研究和产品两条线并行，等模型质量过了可用线，两条线汇合。早期工具也没白做，绿幕那批产品教会了团队视频剪辑里什么最重要，这些认知直接迁移到了生成工具的设计上，只是两者的技术管线完全不同。

他讲了个很有启发性的案例。生成时代之前最受欢迎的工具是绿幕，本质是交互式分割，把主体从背景里抠出来。抠像是影视工业几十年的基本功，但用户真正要的只是给画面某个部分加效果，抠像只是中间步骤。如果生成模型能跳过抠像直接给出最终效果，那才叫好工作流。他的框架是看结果，别看工具。生成模型的终局，是把一堆单一功能的计算机视觉工具收进一个界面。现在模型对用户意图的理解还差得远，但他看不到任何技术障碍。

新模型发布时旧功能没对齐怎么办？他的逻辑很直接：当下每代模型的进步幅度太大，为了功能齐全让用户等，反而损害用户利益。目标很明确，Gen-3 的功能总和要超过 Gen-2 的全部。

用户盘子长这样：从小工作室到大型广告代理、电影制片厂，再到大量个人创作者。Runway 办 AI 电影节，办 48 小时电影比赛，最近一届约 1800 支队伍报名，Stephen 形容这就像创作者的 hack weekend。企业侧的用法集中在前期：分镜、给内部和客户看 80% 完成度的方案。Gen-3 之后，产出开始直接进正片，比如 B-roll 素材。

规模暴涨怎么扛？他的答案是学习速度。公司几乎每年都换一个形态，训练 Gen-3 所需的大规模训练能力，团队此前毫无经验，边干边学。人员扩张刻意克制。

我们的团队规模，总是刻意保持得比实际需要的更小。

另一条铁律是所有管理层必须技术过硬、亲手干活，理解模型和工具的细节只能靠上手。

跟万亿美元公司拼算力，拼什么

Nathan 抛出了最尖锐的问题。有传闻说 Anthropic 内部认为 2025 到 2026 年，头部实验室可能领先到没人追得上，最好的模型训练下一个模型，收入也归它们。Runway 拿什么跟无限弹药的巨头打？

Anastasis 承认资源门槛在急速抬高，必须持续投入算力训练更大的模型。但他紧接着给了一个关键区分：算力重要，你选择把算力用在什么任务上同样重要，甚至更值得押注。他看到太多公司在用同样的范式刷同样的榜单。对任务的独特理解能省下真金白银的资源，Runway 恰好握有一些行业里独一份的视角。

Nathan 补充说，有大模型公司的人透露，未来一两代模型会走向分化，各家强项不同，用户会按场景挑模型，这反而能避开赢家通吃的不稳定局面。Anastasis 说他希望如此，因为整个领域探索的模型种类和任务都太窄了。算法层面的洞察加上任务选择的独特性，两样凑齐，规模竞赛里有得打。

Stephen 问了公开与保密的平衡。Anastasis 的态度是，应该发表成果，让公司内部知识与公共研究知识的差距别拉太大，但出于竞争必须保留一段时间的独家洞察。他倒不焦虑，知识终会扩散，人才在流动，时间会抹平信息差。团队最大的满足感来自做出创作者爱用的工具，这件事的优先级高于发论文。

关于谁受益的问题，Nathan 的印象是低技能者提升明显，顶尖者未必。他自嘲一年级就断定自己当不了艺术家，如今工具把差距缩小了一些，但没抹平。Anastasis 用编程工具反驳了「顶尖者受益少」：Copilot 和 Cursor 的重度用户里全是高手，模型加速的是决策速度。品味和视野在 AI 时代照样是护城河，工具缩短的是从想法到成片的路径，一路上做的每个选择才决定成品。工具确实帮没有经验的人迈进了电影创作的大门，但差距不会消失。有人在模型上投入大量时间变成高手，投入都有回报。

节目末尾聊到 API。录制时 Runway 只开放了少量客户，Canva 是已公布的一家，Nathan 替自家公司 Waymark 现场排队。Waymark 服务小企业，图生视频是他们的第一用例，小老板只认「拍出来像我这家店」的素材。Anastasis 给了个有点微妙的解释：图生视频在某些场景更简单，模型不用构想场景语义和构图，专注运动就行；在另一些场景更难，要应对千奇百怪的输入图。所以有时效果比文生视频好，有时运动反而不如文生视频有趣。顺带一提，节目上线后 Runway 已正式开放 API，Waymark 成了第一批客户。

明天就能用上的五件事

把这一期拆完，有几样东西第二天就能上手：

• 做视频的，先用生成模型做前期。分镜和 80% 完成度的方案，内部沟通、给客户对齐预期都够用，Gen-3 级别的产出已经能当 B-roll 进正片。
• 新模型发布别等旧功能齐活。Runway 的逻辑是能力代差大于功能齐全，早一天上手早一天积累手感。
• 按场景选文生视频和图生视频。要整体连贯和语义控制选文生，要贴着已有素材做运动选图生，小商家营销素材属于后者。
• 判断一家 AI 公司，看它说不说得清自己要模型学会什么任务。只谈参数、算力和榜单的，多留个心眼。
• 团队管理抄两招。管理层保持亲手干活，团队规模刻意压到比需要的小一点，这两条 Runway 从三个人时期用到现在。

最后留一个 Anastasis 式的提醒。他反复强调，模型自己会学，人要做的是挑对数据、选对任务、管住往里塞先验的手。这条原则放在模型上成立，放在人身上大概也成立。