# 100万张图换12分钟电影：The Frost团队把AI拍片的门道讲透了 > Cognitive Revolution No. 62 中文精读 - 原标题：AI-Powered Filmmaking with Waymark's Stephen Parker and Josh Rubin - 发布日期：2023-09-14 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/062-ai-powered-filmmaking-with-waymark-s-stephen-parker-and-josh-c1pPiG.html - 精读字数：约 4921 字（阅读约 11 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 Stephen Parker 一个人，用 DALL-E 2 生成了超过 100 万张图片。这些图最终浓缩成的成果，是一部 12 分钟的短片《The Frost》。7 个人署名，3 个半月做完，MIT Technology Review 为它专门写了报道。2023 年 9 月，他和导演搭档 Josh Rubin 一起上了 Nathan Labenz 的播客 Cognitive Revolution，把整部片子的制作过程从头到尾摊开讲了一遍。 这场对话的分量在于，两位嘉宾可能是把 AI 图像生成用得最深的一批创作者。Nathan 是他们的老同事、Waymark 前 CEO，他自己的说法是，自己积累了上万小时的 AI 使用经验，而 Stephen 和 Josh，把所有时间都砸在了 AI 艺术这一个方向上。 ## 一家做视频模板的公司，为什么跑去拍电影 先交代背景。Waymark 从 2017 年到 2021 年做的是市面上最好用的视频制作应用，模板质量是招牌。但用户反馈很一致：大家真正想要的，是一个能替他们把内容直接做出来的产品。 转折点在 2021 年 9 月。团队第一次成功微调了 GPT-3 的 Curie 模型，Nathan 当场认定生成式 AI 就是答案。他随后做了一件挺极端的事：动用 CEO 的权力暂停了公司几乎所有项目，连董事会都停掉，先给全员办了一场生成式 AI 速成课，再把产品路线图整个转向生成式 AI。团队里有人觉得他疯了。 2022 年初，Waymark 作为 OpenAI 创新合作伙伴拿到 DALL-E 2 的第一波访问权。从那以后 Stephen 个人生成的图片超过 100 万张。《The Frost》就是这波投入的产物：全片画面都来自 DALL-E 2 的静态图，导进 After Effects，用木偶动画、D-ID 等一整套手段让静图动起来，再剪成一部有完整叙事的片子。 Josh 特意划了一条线。市面上大量 AI 作品是图片蒙太奇配音乐，这类东西有人做得很好，甚至比他们好。他们要试的是另一件事：**用 AI 生成的图像，能不能撑起一部有叙事的电影。**标准也定得苛刻，成片要让创作者自己愿意署名，让观众把它当一部正常的电影看，猎奇心退居其次。3 个半月后，他们觉得目标达成了。 ## 提示词的门道：告诉模型这张图“来自哪里” Stephen 分享的方法论，核心就一条：**写提示词之前，先想清楚这张图如果真实存在，会出现在数据集的哪个位置。** 他举了个例子。有人想要“一张灰外星人头骨的真实照片”，直接把 gray alien skull 输进生成器，得到的是插画、油画，什么都像，就是不像照片。Stephen 的建议是换个问法：如果真有这么个头骨，它会在哪？大概率在纽约的自然历史博物馆，大概上世纪四十年代入库。提示词就该照这个思路写。 > “你要在脑子里看到那个东西：它被收藏在博物馆里，是六十年代《国家地理》拍的那种馆藏照片。然后你再为这张图去写提示词。” 用到《The Frost》上，团队搭了一套固定的提示词结构，Stephen 管它叫语境包裹（contextual wrapper）： - 先定图片类型：要“来自某部电影的人像剧照”； - 再给一个虚构片名，《The Frost》用的是 Tundar，tundra（苔原）的变体，足够冷门又能定调； - 一个逗号（牛津逗号在这里非常关键），写拍摄对象：登山者攀爬雪坡； - 再一个逗号，加上“由某位好莱坞摄影师或导演掌镜”； - 最后追加一致性元素，比如全片固定蓝灰色调。 这套结构为什么管用？因为你在替模型定位那张图在训练数据里的“假想出处”。它可能来自某篇影评博客，可能是 IMDB 的剧照页。**提示词写得像图注，出图才像剧照。**你给出的每一条上下文，都在帮模型缩小它要检索的范围。 ## 角色一致性：靠原型，靠声音，靠观众的原谅 最难的环节，是让角色跨镜头保持一致。DALL-E 2 那会儿没有垫图功能，每一张图都是从零生成。Stephen 一度想劝 Josh 把故事改成群像，弱化单个角色。Josh 不干，他坚持要一个叫 Ulrich 博士的角色，戏份还得够重，包括一场在联合国演讲试图拯救世界的重头戏。 最后起作用的是原型（archetype）思路。给 Ulrich 博士定的原型是：灰白长发、戴眼镜、白大褂的疯狂科学家。这个形象在数据集里海量存在，模型闭着眼都能画。**代价是每张图的脸其实都对不上。**Josh 自己承认，有的镜头里这人像圣诞老人，胖了大概 30 磅，有的镜头偏瘦，五官也有出入。 但成片里观众买账了。Nathan 反复看过片子，事后听他们揭秘才意识到脸对不上。Josh 的解释很实在：观众沉浸在故事里的时候，会原谅大量瑕疵。Reddit 上有无数电影穿帮帖，收音杆入镜、替身穿帮，多数人根本注意不到。再加上 Ulrich 博士的配音始终是同一个人，音乐一进来，“就是同一个人”的感觉就立住了。 另一层连续性靠道具。团队需要一个贯穿全片的关键物件：一个跟着登山队上山的转发器。这个东西先在 DALL-E 里做出来，磨了几十轮道具设计，定稿后拿到几个角度，再像拼贴一样缝进各个镜头。Stephen 借用电影术语 MacGuffin（麦高芬）来形容它：物件本身没那么重要，重要的是它给全片提供了那条连续的线。 还有个取巧的地方：全片故事都发生在户外雪地。镜头切换时，背景的帐篷变了、山体变了，大脑会自动接受，因为有雪、有山，环境是自洽的。Josh 说，一旦进了室内，这套宽容度就失效了，难度直接上一个台阶。 ## 工作流反转：剪辑室里随时“补拍” 传统拍摄有条铁律：素材进了片盒，就基本定型。回去重搭景、召回演员，贵到多数剧组宁可放弃。Josh 说，这次项目最颠覆认知的时刻就发生在剪辑室。 片子剪到一半，他想要一个新镜头：一只手死死抓住绳子。角色刚从悬崖滑落，这个特写能把紧张感拉满。放在过去，这个念头只能咽回去。这次他直接给团队下需求，20 分钟后新图到手，放进时间线看效果，手指画崩了就重出，构图不够紧就外绘扩大画面，来回几轮，镜头定稿。 > “我们可以在实时对话里说，来，给我一张手抓绳子的图。20 分钟交图，放进时间线，不合适就再改。打磨阶段就是这么发生的。” 配合这套流程的是他们说的主动分镜（active storyboard）：一个白板网站，每场戏一行，图片按顺序排开。关键在于，上面贴的每一张都是实际要用的素材，随时撤换，随时插入新图。整个项目可以没完没了地回头改，这在传统流程里是奢侈品。 但 Stephen 把丑话说在前面，这是一笔交易。你换来了无限次重来，代价是控制权。**模型像一个你没法完全指挥的摄影师，它可能给你想要的东西，也可能给你随机的惊喜，偶尔给你完全没法用的东西。**团队和 Josh 的日常协作就是这样：导演提需求，比如“这场戏需要更多正反打镜头”，团队回去挖素材，挖回来放进时间线看，行就过，不行再调。 还有一层更隐蔽的限制：数据集决定上限。两个案例特别能说明问题。一个是白天的火焰，Josh 想在白天的营地俯拍镜头里加篝火，模型死活画不好，因为“白天加明亮火焰”这种图在数据集里本来就稀少。另一个是红围巾，画面整体是冷蓝色调，想让模型补一条鲜红的围巾进去，怎么都不行。**模型从没见过调色后的电影画面里出现高饱和的红色，它就不会画。**你以为是模型能力问题，其实是数据里没有先例。 顺带一提，DALL-E 2 那张著名的牛油果椅子，Stephen 用潜在空间给出了解释：把所有可能存在的事物想成一个空间，数据集是人类已经找到的坐标点，生成模型做的事，是在已知的点与点之间插值。牛油果很多，椅子很多，形状介于两者之间的设计也很多，模型把这几个点连起来不奇怪。他还补了一个细节：提示词越开放，可混合的空间越大；上下文越具体，模型就被三角定位到越窄的区域。**它擅长在已知之间连线，跳出去找一个全新坐标，几乎不会发生。**这也是“一切皆混搭”的另一种说法。聊到这，Stephen 还透露了一个彩蛋：DALL-E 会不停把蒙娜丽莎塞进各种画面，当背景人物、当照片、当雕塑，生成了几十万张图的人才会注意到这个“机器里的幽灵”。 ## 动作、情绪，和一年后的工具箱 静图变视频，是整部片子里最痛苦的环节。DALL-E 2 给的人物经常缺手指、缺半只脚，关节位置也不一定对。动画师 Matt Sessions 用 After Effects 做木偶式动画，手动挪手臂、抬膝盖，一帧帧磨。Josh 找到的参照是黑泽明《梦》里的暴风雪段落，人物在雪地里迟缓挪动，有大师先例垫底，团队就放心把动作做得笨重、缓慢。大远景里的人群混入了 Mixamo 的 3D 模型，撑起整支登山队的规模感。有影评人用“怪诞、不安”形容这部片的气质，Josh 不反驳，他承认木偶式的粗粝动作是那个阶段技术条件下的必然产物，恰好和末日雪原的故事咬合。 情绪是另一场硬仗。做雪崩那场戏时，团队在提示词里写满了“极度恐惧、恐慌、他们要死了”，模型返回的常常是一张张浪漫凝视的脸。最后只能手动修眉毛、修嘴唇，项目后期才开始用 Photoshop 新加的 AI 表情功能救场。所以 Josh 的判断很直接：**现阶段用这套技术拍爱情喜剧，基本不可能。**面部微表情、大量人物对切，全是死穴。他们的类型救了自己：登山、灾难、末日，观众本来就没期待精致的表演。 《The Frost 2》已经放出预告片，工具全换了。核心是 Runway Gen-2，文生视频模型。第一部启动时，他们觉得这东西至少还要两年才会出现。录制前没几天，Runway 刚把输出长度从 4 秒升级到 18 秒，对创作者来说，18 秒足够讲完一个镜头甚至一场戏。现在的玩法有三种：纯文字生成视频；先用 DALL-E 或 Midjourney 做好图，再让 Runway 让它动起来；或者直接丢一张图进去看它怎么动。新问题也换了种类：人物的脑袋动一动就朝番茄的方向发展，只能靠多生成绕开。Josh 还有个想法：把 The Frost 做成一个 IP，AI 工具迭代太快，一个东西刚看明白就被十个新东西淹没，如果有一条固定的故事线，观众可以跟着它穿越一代代工具的进化，看同一个故事在不同技术下的形态变化。 声音也跨过了门槛。第一部试了一大批 AI 配音，全部弃用，太机械。第二部在戏剧语境下试了新工具，Josh 说被惊到了。Nathan 补充了他关注的两个：ElevenLabs 的专业声音克隆，和 PlayHT 新推出的情绪控制，可以直接指定愤怒、惊讶这些状态。 聊到行业，正好赶上 2023 年好莱坞编剧和演员罢工。Waymark 现任 CEO Alex 有个观点被反复引用：这部片子用传统方式根本不会被做出来，因为没有那个预算。**AI 改变的除了制作方式，还有“什么能被做出来”这件事本身。** Stephen 的态度分两层。他承认有些岗位会消失，这是技术变革的常态。但他更愿意押注新的可能：艺术家可以用自己的作品去微调模型，在自己的风格疆域里继续探索。他还在公开倡导一个想法：**导演把自己风格的微调模型做成明确授权的作品，让别人购买使用，再互相组合**，这可能是一个新的经济爆发点，让创作者之间产生健康的交易。另外，他按自己的统计，再过两个月就生成满整整 100 万张图，发布出去的只是一小部分，剩下的世界他自己逛。他判断，未来会有大量人拥有这样私人的创作空间，社会需要学会理解和接受这件事。 Josh 收尾的提醒更冷一点。他有好莱坞的亲友来问 AI 的事，他的回答是： > “这东西特别难，可能比传统动画还难。你是在和一个房间里的未知艺术家合作，它可能给你想要的东西，也可能给你随机的惊喜，或者别人说的怪诞图像。要做出好东西，需要一个像 500 英尺高的人类愿景。” 现在还没法用 ChatGPT 写个剧本喂给 AI 就得到一部电影，中间全是调整、争论和判断。人，目前还是那个讲故事的人。 ## 明天就能用的四件事 - **写提示词前先答三个问题：**这东西如果真实存在，会在哪里？谁创作或拍摄的？它会出现在什么样的页面或刊物上？把答案写进提示词，比堆形容词有效得多。 - **调用大师，别列清单：**Nathan 自己踩过坑，他习惯写“简洁、生动、难忘、多用动词”这种清单，后来发现一句“按大卫·奥格威的方式写”直接上一个台阶。 - **把 AI 当合作艺术家：**留出迭代预算，像 The Frost 团队那样，导演提需求、团队出图、20 分钟一轮，快速放进真实语境里检验，不行就换。 - **给一致性留后门：**别追求每张图完美，先定一个贯穿全程的原型、一组固定色调、一件反复出现的道具，靠这些锚点让观众的大脑帮你补齐缝隙。