No. 159·精读

40人团队年入3500万美元:HeyGen把AI数字人视频跑通了

AI Avatars & the Future of Video, with HeyGen CEO Joshua Xu and Benchmark's Victor Lazarte

HeyGen 创始人 Joshua Xu 与 Benchmark 的 Victor Lazarte 讨论 AI 视频生成如何服务四万多家企业,以及翻译与个性化体验。

节目音频00:00 / 1:02:58
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

这期播客有个特别的彩蛋:出镜的嘉宾,一半是假的。

开场白是主持人Nathan Labenz用HeyGen克隆的数字人念的。录制过程中,嘉宾Joshua Xu(徐卓)的视频轨道莫名损坏,画面全废。节目组没有重录,索性用Joshua自家的数字人产品,照着对话转写稿重新生成了一段视频,直接剪进正片。Nathan的评价是,效果「好得惊人」。

一家做AI数字人的公司,用自家产品救了自己的播客场子。这大概是最高级的产品演示。

再看几个数字。HeyGen目前只有40到50名员工,年收入3500万美元,服务超过4万家企业客户。2024年年中,Benchmark投出6000万美元,据报道估值约5亿美元。要知道,Sora、Google Veo、快手的可灵、Runway Gen-3轮番刷屏的时候,多数AI视频工具还停留在「演示惊艳、干活费劲」的阶段。HeyGen绕开了通用模型的军备竞赛,专注企业视频这个具体场景,主打质量、一致性和可控性,技术路线是「用当下最好的工具拼装」:自研数字人模型,外接一流的脚本写作和语音合成能力。

同场的另一位嘉宾是Benchmark普通合伙人Victor Lazarte,这轮投资的主导者。他此前联合创办了巴西移动游戏公司Wildlife Studios,做过月均1亿次视频播放的买量生意。一个懂相机技术,一个懂买量转化,两人对视频的未来给出了一组挺有意思的判断。

起点:AI应该成为新相机

Joshua 2014到2020年在Snap工作,前几年做广告系统,帮广告主在Snapchat上拿回报,后来转到AI相机团队。

2018年,他第一次接触GAN,看到计算机能生成一张现实里不存在、看起来还挺真实的图。他的直觉是,这东西会改变内容生产的方式。

他观察到的规律是:过去十几年,内容平台的崛起都跟着相机走。iPhone 4问世,才有Instagram、Snap、TikTok,才养出这批创作者。但做相机软件这些年,他反复看到同一个问题:很多人出不了镜,要么没时间,要么不上镜,要么一面对镜头就僵硬。

他的结论是,把相机这个环节替掉,视觉叙事就能开放给所有人。2020年12月,HeyGen成立,出发点一句话能说完:用AI生成视频,替代用相机拍视频。

三种用法:创作、翻译、个性化

HeyGen是个很横向的平台,营销、销售、培训、本地化都有人在用,客户从小商家到财富500强都有。Joshua把用法归成三类。

第一类是创作。选一个官方现成数字人,或者克隆一个自己的,套模板,打字,出片。产品介绍、产品演示、内部培训,都靠这个。官方数字人和自建数字人的关系,他说是用户旅程设计:先用现成的试水,看看内容效果,第二步再做自己的数字分身,围绕它搭品牌形象。

第二类是翻译,目前最出圈的功能。上传一段已有视频,HeyGen能翻成40多种语言,保留原说话人的音色和表情,口型还跟着新语言对上。传统做法是请配音演员重新配,一分钟10到20美元,而且配完口型对不上,观众一眼看出「翻译腔」。HeyGen把成本降了10倍以上,速度提了大约100倍,交出来的还是口型同步的母语版。很多大公司靠它把本地化流程的成本和时间压掉一个数量级。Joshua强调,价值不只在省钱:传统配音版总像个次一等的版本,观众宁可看原声加字幕,口型同步之后,新语言版本第一次有了原生观感,参与度反而更高。

Nathan现场算了笔账:一个电商有100条产品视频,想覆盖100种语言,就是1万条视频。按老办法,结论只有一个,干脆不做。按HeyGen的办法,这就是一笔GPU费用的事。

第三类是个性化。邮件个性化大家见多了,视频个性化是新东西。Joshua举了个例子:一家企业客户一次性生成超过10万条个性化视频,发给内部员工当感谢视频。

为什么盯着视频做?Joshua的理由很朴素:YouTube每天有超过10亿小时的视频被观看。他自己特斯拉出了问题,第一反应是上YouTube搜视频,懒得翻菜单文字。每个企业都想做更多视频,卡点是视频太贵。HeyGen干的事,就是让企业做视频的速度,跟上客户看视频的胃口。

有个细节挺有意思。Nathan问,客户做出来的视频是直接用,还是拿去别的工具再加工?Joshua把用户分成两种:大约1%的专业视频创作者,把HeyGen当素材生成器,片段丢进Adobe接着剪;剩下99%的人以前根本不会做视频,从生成到剪辑,全程在HeyGen里完成。

他还算过一笔账:假设一家企业每月需要100条视频,其中10条是真人出镜类。以前这10条又贵又慢,现在HeyGen把它们做得又快又便宜,结果企业干脆做了100条。好工具替掉旧工作量的同时,会把需求本身放大。

逼真是手段,参与感才是目的

数字人绕不开恐怖谷。Nathan直接问Joshua:现在的技术在哪儿,爬出来了吗?

Joshua的回答分两层。第一层,逼真度在很多场景已经过关,比如他自己的数字人,很多观众分不出真假。第二层更有意思,他说真正的问题跟「像不像真人」关系不大。Nathan也提了个场景差异:广告视频的观众划走只要半秒,企业内训视频再无聊也得看完。Joshua承认,外部营销对质量的要求高得多,那还是他们正在攻的山头。

视频比文字更抓人,核心在参与感。参与感靠三样东西:对话的节奏感、自然的手势、情绪表达。同一句话换种语气说出来,意思都不一样。这三样目前都还在攻关。把「像真人」当成终点是个误区,把「让人愿意看下去」当成终点,才是产品逻辑。

Victor用游戏行业的经验补了一刀。他以前的公司每月有1亿次视频播放,早期大家投静态图广告,后来全换成视频广告,转化率就是生死线。他的经验是,跑出高转化的视频很少靠画质胜出,靠的是快速测试大量变体。测试的关键就两个变量:单条成本够低,迭代速度够快。HeyGen对企业的价值正在这里,一条视频便宜了,你就能同时试20条,总有一条跑得出来。

Nathan补了个观察:大家都在冲逼真度,可动画片一直是主流娱乐形式,早期AI视频那种迷幻的波浪感,某种意义上像一种超常刺激,反而自带辨识度。超写实只是提升参与感的一条路,未必是唯一的路。

下一步:实时视频,和会消失的时间线

Victor最兴奋的功能叫Streaming Avatar,流式数字人。简单说,你的数字分身能跟人实时对话。他把这件事放在ChatGPT的延长线上:ChatGPT让人跟AI对话,但要打字;GPT-4o加上了语音;下一步就是视频通话。打字是聊天,语音是打电话,实时数字人是视频通话,交互每升一级,沉浸感上一个台阶。他原话说,这个技术「全世界没有别人有」。能拿来干什么,他自己也承认还在摸索,虚拟朋友、虚拟宠物都只是猜测。

个性化这条线还有更多东西。Nathan提了个疑虑:大品牌做个性化,往往只敢把名字塞进去,再多就不敢了。真收到老板发来的AI生成视频,他个人会觉得有点膈应。

Joshua的回应是把视野拉大:名字只是起点,因为最容易做。真正的空间在于,视频可以按人生成,每个人看到的版本都不一样。过去20年,两个人看同一个视频,看的是同一份内容,像所有人挤在同一间影院。以后可以是同一个故事,每人拿到为自己重剪的版本。一条1亿播放的视频,现在的优化逻辑是「多数人可能喜欢这样」,每次迭代都在牺牲一部分观众。如果每个点进来的观众都拿到为自己生成的版本,ROI才能摸到全局最优。他强调两件事缺一不可:一是高度个性化,二是视频能即时生成。Streaming Avatar只是起点,终局是把整条视频的生成过程也流式化。

Victor补了句实在话:这技术太新,什么应用能成,得靠试。只带名字的老板视频确实让人不舒服,但那种把你关心的信息真正揉进去的个性化,方向是对的,应用会一步步迭代出来。

聊到产品未来,Joshua放了个狠话:

「我有非常明确的判断:时间线剪辑器,五年内会消失。」

他的逻辑是,时间线这个形态的存在前提是相机贵。因为拍摄贵,你才会拍20条30条素材,铺在时间线上挑最好的。当素材可以随时生成,时间线就没了存在的理由,何况它本身就是横在99%普通人面前的一道学习门槛。HeyGen设想的替代方案是一个理解品牌需求的引擎:先弄清品牌要什么,数字人、配音、音乐、B-roll各司其职,组合出成品。

这里还有个更细的认知翻转。Nathan问,以后是不是对着电脑说一句「把背景换成绿色公园」就行?Joshua说,换背景今天就能做到,卡点是灯光匹配。他举了个例子:把你的画面放进海滩,背景对了,光影不对,一眼假。静态的好办,手势一动,光影跟着变,难就难在这。但他接着说了句更狠的:灯光这个维度本身就是相机时代的产物。没有相机之后,大家关心的维度会变成「更有参与感」「更有动感」,优化目标整个换掉。

Nathan听完很有共鸣。他在AI视频公司Waymark做研发,主要做电视广告,一条必须精确30秒的那种。他们的经验是,过去用一堆小模型拼起来的流水线,现在一个多模态大模型就能替掉,效果反而更好。Joshua也认这个方向,他判断底层最终会收敛到少数几个大模型。

关于下一步投入,Joshua说得很清楚:数字人这条A-roll继续提升质量和参与感,下一幕的重头是B-roll,背景、音乐、转场动画的生成。他给公司的定位是端到端帮企业生成整条视频,数字人只是先解决的那一环。

安全这套,他们真做了

这期节目里,Nathan给HeyGen的安全体系背书背得很用力。他是GPT-4的红队成员,测过大量语音克隆产品,在不少平台上克隆过特朗普、拜登和泰勒·斯威夫特的声音,有的平台甚至允许用克隆声音给任意号码打电话。他见多了零护栏的产品,而HeyGen是他个人评测榜上的第一名。

Victor从投资人角度补了背景:当时看数字人赛道的团队不止一家,技术一定会存在,客户一定会用,但技术这么强,用歪的风险也大。让HeyGen胜出的关键之一,是把「成为最值得信任的品牌」写进了公司战略。

Joshua开场就把话挑明:安全从来都是业务的关键部件,每次上新功能,团队都得先过一遍「怎么安全地放出去」这一关。他给出的机制清单是这样的:

  • 不允许在平台上创建任何政治人物或名人的数字人,名人想合作必须走人工流程。
  • 每个数字分身的创建,必须有本人出镜录制的第一方同意视频。
  • 随机动态验证码核验,加上后台人工复核。
  • 每条生成或翻译的视频,都过AI模型加人工的双重审核,拦截仇恨言论、骚扰、欺诈和虚假信息。
  • 名人识别靠第三方数据库,自有团队持续更新。

Nathan亲自试过攻破这套系统,最粗暴的几条路全失败了。他系统摸出了好几层防线,最后撞上的是人工审核那道墙。他的评价是,这是典型的纵深防御,一层拦不住还有下一层。市面上绝大多数AI产品护栏基本为零,HeyGen证明了安全做得重,生意照样跑得快。Joshua的说法是,他们从没把安全当成刹车,安全就是产品的一部分。客户里有全球最大的那批公司,没有这套东西,生意根本接不下来。

Nathan还建议同行去把HeyGen的产品体验完整拆一遍,或者读他那份公开的红队测试分析。他甚至公开招人,一起测各种AI产品的护栏。

明天就能用的几件事

做生意的,可以先干三件事。第一,把已有的产品视频丢进翻译功能,测一个目标市场语言,成本就是GPU费用,比找配音团队便宜两个数量级,先小规模验证,跑通了再放量。第二,投放素材别再一条条打磨,用数字人批量生成20个版本的脚本去测,把预算花在测试上,别押在单条精品上。第三,先用官方现成数字人跑通流程,验证内容有效,再花时间克隆自己的数字分身,这是HeyGen设计好的用户路径,也是省钱路径。

做AI产品的,把HeyGen的同意验证流程完整体验一遍,从录制确认视频到动态验证码。Nathan说他一直在找能识别名人的第三方数据库服务,找了很久才有眉目,这类基础设施确实存在,做克隆类产品的没有理由裸奔。

普通人也值得动手:花半小时克隆一个自己的数字分身。就算今天用不上,你也会直观感受到这项技术到了哪一步,离自己的工作有多近。

Nathan在结尾总结了一个判断,跟Joshua那句狠话遥相呼应:今天的数字人只是起点,它们会更快、更实时、更懂上下文,视频这个概念本身,可能正站在被重写的边缘。判断一项技术,别盯着它今天的样子,未来通常比大家敢猜的更怪,也更有意思。

Nathan explores the future of AI-generated video with Joshua Xu, founder of HeyGen, and Victor Lazarte from Benchmark. In this episode of The Cognitive Revolution, we discuss HeyGen's success in practical AI video creation, serving over 40,000 businesses. Learn about the transformative potential of AI in video production, from content translation to personalized experiences, and HeyGen's industry-leading approach to trust and safety.
Apply to join over 400 founders and execs in the Turpentine Network: https://hmplogxqz0y.typeform.com/to/JCkphVqj

RECOMMENDED PODCAST:
Second Opinion
A new podcast for health-tech insiders from Christina Farr of the Second Opinion newsletter. Join Christina Farr, Luba Greenwood, and Ash Zenooz every week as they challenge industry experts with tough questions about the best bets in health-tech.
Apple Podcasts: https://podcasts.apple.com/us/podcast/id1759267211
Spotify: https://open.spotify.com/show/0A8NwQE976s32zdBbZw6bv
-
🎙️ History 102 with WhatifAltHist
Every week, creator of WhatifAltHist Rudyard Lynch and Erik Torenberg cover a major topic in history in depth -- in under an hour. This season will cover classical Greece, early America, the Vikings, medieval Islam, ancient China, the fall of the Roman Empire, and more.
Subscribe on Spotify: https://open.spotify.com/show/36Kqo3BMMUBGTDo1IEYihm
Apple: https://podcasts.apple.com/us/podcast/history-102-with-whatifalthists-rudyard-lynch-and/id1730633913
YouTube: https://www.youtube.com/@History102-qg5oj

SPONSORS:
Building an enterprise-ready SaaS app? WorkOS has got you covered with easy-to-integrate APIs for SAML, SCIM, and more. Join top startups like Vercel, Perplexity, Jasper & Webflow in powering your app with WorkOS. Enjoy a free tier for up to 1M users! Start now at https://bit.ly/WorkOS-TCR
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Head to Squad to access global engineering without the headache and at a fraction of the cost: head to https://choosesquad.com/ and mention “Turpentine” to skip the waitlist.

CHAPTERS:
(00:00:00) About the Show
(00:00:22) Sponsor: WorkOS
(00:01:22) About the Episode
(00:05:25) Introduction
(00:06:15) Joshua's Background
(00:09:47) Video Consumption Trends
(00:10:49) Creating with HeyGen
(00:12:46) Localization Benefits
(00:14:02) Cost of Localization (Part 1)
(00:16:19) Sponsors: Oracle | Brave
(00:18:24) Content Creation
(00:26:33) Engagement vs. Realism
(00:31:44) Future of Content
(00:37:43) Personalization Challenges
(00:42:57) Future of HeyGen
(00:49:13) Creator Experience
(00:59:35) Celebrity Restrictions
(01:03:03) Outro
---
SOCIAL LINKS:
Website : https://www.cognitiverevolution.ai
Youtube : https://www.youtube.com/@CognitiveRevolutionPodcast
Apple : https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify : https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk

本集资源与出处