剪辑视频像改文档:被 OpenAI 押注的 Descript,把 AI 放在副驾驶座上
Underlord: Descript’s AI Video Editor, with CEO Andrew Mason
Descript CEO Andrew Mason 介绍 AI 转录、声音克隆与眼神修正等功能如何降低视频创作门槛。
每月发 8 期以上播客,每期开场白由 AI 起草,单次成本大约 10 美分。Cognitive Revolution 主持人 Nathan Labenz 的做法,是把 30 期往期开场白和当集完整转写稿一起喂给 Claude 3.5 Sonnet,让模型模仿他的节奏写一段新开场。他自己的评价:「它挺懂我的。」没有这 30 个例子,模型也能写出合格的摘要,却抓不住他标志性的东西:固定的开场句式、固定的收尾套路,还有那种热情与担忧各占一边的「两头下注」语气。
这条工作流的最后一站,就是这期节目的主角 Descript。2024 年 8 月,Nathan 请来了 Descript CEO Andrew Mason。Mason 的来头不小:Groupon 联合创始人,2013 年离开后二次创业,Descript 在 2022 年拿到 OpenAI 创业基金领投的 5000 万美元融资,估值约 5.55 亿美元。Nathan 说,Cognitive Revolution 是 Descript 多年老用户,制作流程离不开它。
这场对话一半像产品深访,一半像客户反馈会。聊到中途 Mason 自己笑了:「这是我参加过最怪的播客,我感觉我们在开客户电话会。」怪归怪,信息量实打实。
把时间线扔掉,换成一份文档
Descript 的起点是 8 年前的一个观察。Mason 发现,音视频内容正变得跟文字内容一样基础,分发平台越来越成熟,创作难度却原地踏步。同一时期,语音转写质量开始过关,他看到了重做编辑器的机会。
传统剪辑软件长什么样?一条时间线。Mason 的评价很直接:学习曲线陡,而且「慢得没有下限」。Descript 的做法是把音视频变成一份文档,你改文字,音视频跟着变。文档是唯一一个所有人不用学就会用的工具,整个产品就支在这一个点上。他想跑完的旅程是:创作从只属于创意专业人士,到属于全职创作者,再到属于每一个知识工作者。
张开嘴说话是世界上最容易的事,难的是说得好看、听起来好听。这正是 AI 能帮上忙的地方。
Underlord:AI 当副手,人掌舵
Descript 把旗下 AI 功能打包成一个套件,取名 Underlord。Overlord 是主宰,Underlord 反着来。Nathan 夸这是「神来之笔」的品牌:名字本身就在告诉用户,AI 当副手,方向盘在人手里。
功能清单上有几样,被 Nathan 称为「一次投票就能进名人堂」的级别:
- 删除停顿和口头禅,一键清掉所有「呃」「嗯」和冷场。
- 删除重录:AI 识别出你把同一句话说了五遍,只保留最后一遍,其余剪干净。
- Studio Sound:把电脑自带麦克风的录音修成录音棚音质。Mason 强调这不止是降噪。很多播客嘉宾在回声很大的房间里录音,自己听不出问题,更不知道怎么修,这个功能替他们补上了那双专业耳朵。
- 眼神接触:你盯着屏幕上的文档读稿,成片里看起来像直视镜头。Mason 的原话是「瘆人,但真的好用」。Nathan 顺嘴承认,这期节目的开场画面就是这么录的。
Mason 自己最爱的是个不太显眼的工作流:先写脚本,边写边排版面、配占位画面,用 AI 语音生成一版草稿,最后再用自己的声音整段覆盖。Descript 会自动转写新录的音频,把此前的视觉排版原样接上。前期、制作、后期这三道传统工序之间的墙,被拆掉了。
还有一项独门绝技,官方叫 Overdub,也叫 Regenerator:选中你已经说出口的某个词,直接改成别的词,AI 生成新语音,并把音色、韵律跟前后文缝在一起,听不出接缝。Mason 说,这个能力目前没有第二家做出来。
一场像客户电话会的访谈
Nathan 的制作团队叫 AI Podcasting,两个人,Adi 和 Sai,合作 6 个月,每月产出 8 期以上节目。AI 给每集生成 6 到 8 条短视频切片,Nathan 挑一两条发出去。他们还给每个客户微调专用模型,让剪辑风格贴合客户偏好。做切片时要在 60 秒内塞进各平台门槛,剪辑颗粒度细到一秒一秒地抠。Nathan 的一条经验:观众认识主持人的脸,未必认识嘉宾,但嘉宾才是真正的主角,所以把主持人的提问压到最短,前几秒就让嘉宾出场。
他们的愿望清单上有一条:Descript 开放 API,把自建的剪辑模型接进去,批量执行删除,再回到 Descript 界面里人工微调。用 FFmpeg 之类的命令行工具批量改他们也试过,痛点在收尾:改完不满意,回头再改非常痛苦。
Mason 的回答:暂时没有 API,但「我们不反对,这是优先级问题」。他给了个替代方案,在 Descript 内部做扩展和预设,让用户接入不同模型、存下自己的提示词。他还当场表态,想跟这两位制作人聊聊,一起头脑风暴。
自研还是集成?Mason 的态度很坦率:「我们对自研没有宗教情节,说实话,能不建就不建。」Studio Sound 这类模型存在,只因为客户需要而市面上没有。外部一旦出现更好的,比如 Nathan 提到的 ElevenLabs 音频修复模型,Descript 愿意直接接进来。但 Overdub 这种独有能力,他们不对外开 API。
用户构成也在这段聊清楚了:播客主、视频创作者、做讲解和教程的教育内容作者,企业里的市场团队和内部培训。Descript 内置屏幕录制,既能像 Loom 那样发快速视频消息,也能录带解说的屏幕教程。创作者的痛点排前列的是变现和涨粉,Mason 说这暂时在 Descript 的舒适区外;再往后是选题枯竭。他心里的三个桶:选题、更快地生产、受众和变现。
OpenAI 的钱,和贵十倍的产品
OpenAI 为什么投 Descript?Mason 转述了 Sam Altman 的逻辑:生成式 AI 在音频、视觉、文本三个方向同时爆发,Descript 正好卡在三者交叉点上。Altman 还有一个判断:就算模型一路变强,那种保留「人类操作位」的工具也不会很快消失,人总得有个地方跟「外星人」搭档练手艺。
关系的实质比较朴素:标准的早期投资人待遇,加上跟前沿研究者对话的机会,加上一些功能的早期访问权。Nathan 追问有没有跟 OpenAI 做定制模型,Mason 给了一个「出于无知的无可奉告」,他甚至不确定对方研究团队眼下在做什么。
Nathan 举了个参照物:OpenAI 有团队成员聊过与法律科技公司 Harvey 的合作,声称通过对法律数据继续预训练,专用模型对原版 GPT-4 的偏好率达到 97%。他的推测是,Descript 若拿海量高强度剪辑过的内容做类似的事,体验会有质的飞跃。Mason 没接这个球,但承认了另一件事:Descript 的大部分 AI 功能,如今已转向微调模型。
Nathan 有个固定问题:不管推理成本,把性能推到极限,一个贵 10 倍的产品长什么样?Mason 的答案指向生成式视频。他给了一个框架:大多数视频的绝大部分画面是「橱窗装饰」,真正的信息只出现在少数几帧里。就拿这期播客来说,画面就是两张人头,作用是拴住注意力,对内容几乎没有增量。生成式视频最有潜力解决的,正是这个装饰问题。合成数字头像是目前最显眼的尝试,但他认为那只是最显而易见的一种,动画和其他生成形式的空间更大。
那 Descript 为什么还没集成 Runway?Mason 算了笔账:每分钟视频大约 10 美元,这个价格对他们的客户基本不可用。他补了一层观察:Midjourney 这类工具好用,靠的是反复来回试错,零样本一次出片的东西很难伺候。
多模态是另一条确定的路线。现在的 Underlord 只能读文稿,靠猜来推断屏幕上发生了什么;等它能真正看画面、听语调,编辑助手的判断会准得多,能模仿的风格也多得多。按单个用户微调?Mason 说在雷达上,细节暂时不能讲。Nathan 抛了个更远的场景:让 GPT-4o 语音模式实时当副驾驶,后台提醒他「该问个好问题了」。Mason 的回应:内部聊过,听起来很酷,暂时不能多说。
数字人:一次公开认错
聊到 HeyGen 和 Synthesia 这类数字人公司,Mason 做了创业者很少在播客里做的事:承认自己看走眼了。
有几家靠超写实数字人做成了相当大的公司,我完全错过了。我当初看到的感觉是,这是反乌托邦。
他的理由:就算数字人爬出恐怖谷,价值也全在创作者那侧,帮创作者规模化产出;观众那一侧没有得到任何东西。真正值得期待的地方,是用这套技术做出以前不存在的内容形式,复刻旧形式不算数。
Nathan 刚跟 HeyGen 联合创始人 Joshua 做过一期节目,用自家数字人生成了开场白;那期还出了个事故,嘉宾的视频文件损坏,整期节目干脆用嘉宾的数字人重录了一遍。他的体感是「恐怖谷晚期」:开头两三分钟还能接受,长节目不行。他补了一个更根本的判断:AI 生成播客让他失望的地方从来都跟音质和形象无关,真正的短板是内容里没有信息增量。想法的质量,比呈现形式重要得多。
两人倒是都认了一个近期的杀手级用例:翻译。把整期节目翻成西班牙语,哪怕画面稍微有点怪,内容是真的,就能打开一整片新市场。
招 AI 工程师,和明天就能用的清单
对话后半段落到一个实操问题上:AI 工程师怎么招,跟传统软件工程师差在哪?Mason 把人分成两类:调 LLM 的,和造模型的,比如 Studio Sound 和 Overdub 背后那批。造模型颠覆了一条产品常识。过去做产品,需求定好、设计画好,工程约束是已知的;AI 模型的约束会漂移。一个能瞬间训练的语音模型、一个要训 15 分钟的、一个要训一整天的,对应的产品形态完全不同。Descript 真踩过坑:开发后期冒出一个质量高得多的新模型,训练时间从 15 分钟变成 3 小时,取舍一变,产品性质跟着变。
第二条经验:AI 研究本质上下注,有的注会赢,有的直接走进死胡同,只能换思路从头再来。团队预算和心态,都要按「死路是常态」来安排。Nathan 的总结跟他对上了口供:先做最难的部分,提前去风险,因为你不知道什么会成。
Mason 顺带说了 Descript 的内部价值观:保持清醒,小心别信了自己讲的神话。「做科技公司太容易被裹挟进去,我们不想那样,人生苦短。」
这场对话里,明天就能用的东西不少:
- 做音视频内容,把 Descript 的停顿删除、口头禅删除、Studio Sound 排进工作流,学习成本接近零,省下的时间以小时计。
- 想让 AI 模仿你的文风,学 Nathan:攒 20 到 30 篇自己的旧作当例子,连同原始材料一起喂给模型。没有这些例子,模型能总结,抓不住你的节奏。单次成本在一毛美元的量级。
- 剪访谈切片,记住那条启发式:主持人问题压到最短,让嘉宾在前几秒出场。
- 给公司选 AI 工具,用 Mason 的检验标准:别看演示多惊艳,看它能不能嵌进组织流程被持续使用。很多工具只擅长一件事,一进组织就失灵。
- 自己做 AI 产品,把 Mason 的两条教训贴在墙上:约束会漂移,死路是常态。先做难的部分。
小企业主那边,两人共同点名的机会是线上门面:做出一个八十分位水准的官网和宣传视频,成本已经被 AI 打到很低,大部分小店还没动。再往前一步,是能接电话、约时间的语音代理。窗口开着,就看谁先走进去。
Nathan interviews Andrew Mason, CEO of Descript, about their AI-powered video editing platform. Learn how Descript is transforming content creation with features like AI transcription, custom voice overdubbing, and eye contact models. Discover the future of video editing and how AI is making it accessible to everyone in this insightful episode of The Cognitive Revolution.
Apply to join over 400 founders and execs in the Turpentine Network: https://hmplogxqz0y.typeform.com/to/JCkphVqj
Looking for podcast production?
Our production team, led by Adi and Sai from AI Podcasting (https://aipodcast.ing), is now open to taking on additional clients for podcast production and AI-driven workflows; if you need help with your podcast, you can contact them directly through their website (https://aipodcast.ing/contact/) or reach out to me for more information.
RECOMMENDED PODCAST:
Second Opinion
A new podcast for health-tech insiders from Christina Farr of the Second Opinion newsletter. Join Christina Farr, Luba Greenwood, and Ash Zenooz every week as they challenge industry experts with tough questions about the best bets in health-tech.
Apple Podcasts: https://podcasts.apple.com/us/podcast/id1759267211
Spotify: https://open.spotify.com/show/0A8NwQE976s32zdBbZw6bv
-
🎙️ History 102 with WhatifAltHist
Every week, creator of WhatifAltHist Rudyard Lynch and Erik Torenberg cover a major topic in history in depth -- in under an hour. This season will cover classical Greece, early America, the Vikings, medieval Islam, ancient China, the fall of the Roman Empire, and more.
Subscribe on Spotify: https://open.spotify.com/show/36Kqo3BMMUBGTDo1IEYihm
Apple: https://podcasts.apple.com/us/podcast/history-102-with-whatifalthists-rudyard-lynch-and/id1730633913
YouTube: https://www.youtube.com/@History102-qg5oj
SPONSORS:
Building an enterprise-ready SaaS app? WorkOS has got you covered with easy-to-integrate APIs for SAML, SCIM, and more. Join top startups like Vercel, Perplexity, Jasper & Webflow in powering your app with WorkOS. Enjoy a free tier for up to 1M users! Start now at https://bit.ly/WorkOS-TCR
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention “Turpentine” to skip the waitlist.
CHAPTERS:
(00:00:00) About the Show
(00:00:22) Sponsor: WorkOS
(00:05:18) Creating Descript
(00:06:53) Favorite Features
(00:10:41) Descript Workflow
(00:14:10) Product Strategy (Part 1)
(00:16:45) Sponsors: Oracle | Brave
(00:31:12) User Fine-Tuning (Part 1)
(00:32:24) Sponsors: Omneky | Squad
(00:34:10) User Fine-Tuning (Part 2)
(00:34:54) Content Creators
(00:42:20) Small Businesses and AI
(00:43:42) Hiring AI Engineers
(00:46:25) Outro
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


