两年前定制一个声音要1万美元，现在10分钟音频就够：AI语音的爆发与刹车

这期节目里有个细节值得单独拎出来：主持人Nathan Labenz用10分钟自己说话的录音，在Play.ht上克隆了自己的声音，然后用这个声音向嘉宾提了第一个问题。两年前，找头部供应商定制一个声音，要进录音棚录好几个小时，花1万美元。现在，10分钟素材，不到一小时出活，几乎不要钱。

嘉宾Mahmoud Felfel是Play.ht的CEO，公司做AI语音生成，创办三年左右，客户名单里已经出现了南方公园工作室，对话中还提到了HBO。整期节目最扎耳朵的信息藏在后段：他们把ChatGPT接上自家语音，让AI打电话推销产品，没有一通电话被对方识破。

这是Cognitive Revolution2023年3月24日的一期。Nathan是创业者兼AI投资人，也是Play.ht的苛刻用户，他的公司Waymark给本地小商家做电视广告，市面上各家语音API他基本测了个遍。下面按节目脉络拆开讲。

起点是个Chrome插件：给Medium文章配音

Play.ht的起点跟AI没什么关系。Mahmoud和联合创始人都是软件工程师，之前两年里试了10个想法，全失败了。俩人决定歇一阵。Mahmoud有两个Audible订阅，重度听书用户，每天还读很多Medium文章，然后冒出一个念头：文章为什么不能像书一样听？

他去找现成方案，发现了IBM Watson的语音服务，比AWS Polly和Azure的同类产品还早。当时市面上的声音大多机器味浓到没法听，IBM的声音虽然还是Siri那个味儿，至少能忍着听一阵。

他先给自己做了个Medium的Chrome插件，被人从Chrome商店发现，搬上了Product Hunt，用户涌进来，喊着要移动端，他们就做了App。麻烦出在赚钱这一步：消费者想多听、少付钱，塞音频广告俩人又嫌烦。转折来自用户构成，很多用户本身就是写作者和出版方，他们问，能不能让我的读者也能听我的文章？产品就此转向B2B，做「音频文章」的SaaS服务。现在很多出版物文章页上的播放按钮，就是当年这个方向。

生意能跑，增长不及预期。Mahmoud的总结很直白：这属于维生素，算不上止痛药。没人会主动搜索「给文章配音频」的解决方案，把文章写出来才是刚需，音频只是锦上添花。

卡在质量上：机器人声音进不了高端市场

转机藏在数据里。他们搭了个编辑器，把AWS、Google这些大厂API的能力（包括SSML标记语言的可视化调节）都暴露出来，结果发现客户拿它干的活，早就超出「文章配音」的范围，疫情之后学习和培训场景的用量明显抬头。

天花板同样清楚。Nathan的判断是，无论预算多小，客户都不想让自己的广告听着像机器人做的。Mahmoud看到的是同一堵墙的另一面：游戏公司只用文字转语音做草稿音，正式上线一定换真人配音。《纽约时报》这类在意品牌的大出版方，试完就摇头，质量配不上自己的用户。配音演员、游戏、媒体制作组成的「人类声音市场」，传统语音合成一概进不去。

摆在面前两条路：把公司卖掉换赛道，或者自己解决质量问题。他们选了后者。自研第一步走得并不顺，拿市场上的开源模型（FastSpeech、Tacotron这类）自己训练，练到头，效果跟直接调API差不多，养一个机器学习团队等于白养。那两年，几乎每一篇语音合成的论文、每一个开源项目，他们都找作者聊过、测过，始终没等到突破。

换范式：3亿参数的小模型，靠数据跑出了情绪

2022年初，风向变了。DALL-E、GPT-3、扩散模型接连出现，架构从监督学习转向自监督学习，Mahmoud判断语音也该走这条路。

他给Nathan解释过新旧范式的差别。旧范式的逻辑是：找Nathan进录音棚录20小时，拿这20小时训练，模型学会的只有「用Nathan的声音说话」。想要新口音？去录一个说那个口音的人。想要新情绪？再去录。想克隆声音？基本不可能。新范式是让模型在海量数据上学会「人类是怎么说话的」，几十万说话人，Mozilla的Common Voice、公版有声书、互联网上能抓到的音频都用上了，自监督的好处是数据不必录音棚级干净。

他们的第一个模型只有3亿参数，按今天的标准算中等个头，效果好的关键在数据，不在模型大小。然后出现了他们自己都没料到的事：同一个人、同一种声音，输入「oh no」，出来是低落的语气；输入「oh my god」，出来是兴奋上扬。文本一换，声音全变。训练数据里，「oh no」通常出现在悲伤的语境，模型自己把这些关联学成了内部表征，能从文本直接提取情绪和风格。Mahmoud形容，整个团队当时都被震住了。

代价是慢。最早生成1分钟音频要20分钟，完全没法用，团队花了大约6个月做性能优化，到录制这期节目时已经接近实时，几周内会上实时流式生成。技术上这是一条Transformer管线：文本先进模型，输出mel频谱图（音频的压缩表示），再由vocoder转成波形，思路跟微软VALL-E（4万小时数据训练）和谷歌AudioLM类似。麻烦有两个：一是大语言模型天生非确定性，同一个词每次生成可能有细微差别，而语音要求特定词、缩略语的发音稳定；二是市面上没有现成的基础设施能训练大型语音模型，数据怎么切、怎么喂进多张GPU，全靠自己从零搭。

平台上的声音，做法是请配音演员录1到4小时，在基座模型上微调出专属副本；模型本身其实能采样出约10万种声音，找真人录音是为了把质量顶到最高。上线5个月，自研模型承担了平台60%的用量，每月转换量以百万计。有意思的是，老API的用量没跌，还在涨，原因是语言覆盖：老API有130多种语言和口音，自家模型只说英语。

南方公园、游戏NPC，和语音的导演时代

质量过关后，用例的层级变了。Mahmoud在节目里透露，南方公园工作室正在做一集新剧，其中一个角色用他们的声音；Reid Hoffman那档跟GPT对谈的播客《Chats with GPT》，音频也是Play.ht生成的。

游戏是更有想象力的方向。现在的游戏里，主角有配音，NPC只有文字气泡，因为请100个配音演员把所有角色录一遍，经济上不成立，玩家跟NPC自由对话更是想都别想。已经有多个游戏工作室在跟他们合作做「完全动态的体验」，还有一家知名流媒体平台想用它给播客听众做动态内容。

创作者端两类用法：非英语母语的频道主直接用英美口音的声音做视频，用Mahmoud的话说，等于雇了几个英国和美国口音的员工；另一类克隆自己的声音，不用每周跑两趟录音棚，写完稿几分钟出片。用户的投入程度超出他们预期，有用户在电话里说，自己每天在Play.ht编辑器里泡12个小时，做完整的有声书和播客，精心挑角色、设计对话的衔接。团队原以为大家只会拿它快速出个活儿，结果人们在把它当创作工具用。

一个微妙的变化随之而来：用户开始拿这个产品跟真人比，抱怨从「这声音像机器人」变成「这个词的重音不对」「这里该停顿」「这段再兴奋一点」。Mahmoud说他们起初还挺纳闷，明明比之前好太多了，后来想明白了，参照物变了，用户要的是能「导」的声音。下一代产品的方向，就是像导演给演员讲戏那样控制语音。Nathan的概括很到位：没人给演员递SSML标记，导演只会说「像个第一次见到孙辈的爷爷那样说这句话」。Mahmoud完全认同，语音的未来就是提示词工程：描述想要的声音，生成，迭代，跟今天玩图像生成一个路数，创作者变成叙述者和指挥者。

非确定性在这里成了双刃剑。做有声书的人要确定，扔一本书进去点转换就该完事；做创作的人反而像生成图像那样，一次出好几版挑最对的，用户的每次挑选还能反哺模型。他们也在做音素层面的锁定，保证公司名、缩略语的发音稳定。语音还有一批图像没有的旋钮：克隆时跟原声的相似度拉多满、口音保留多少，甚至性别属性都能微调，男声可以调得偏柔一些，但仍是男声。

跨语言是个意外收获。上传一个说法语的声音去克隆，出来的居然是带法国口音的英语；给30秒日语口音的样本，就能生成一个「像日本人讲英语」的声音，Mahmoud自己都没想到这能成。这直接指向配音场景：同一个演员的声音，可以跨语言保持一致。日语和葡萄牙语的内部测试更省事，只用了10小时音频微调，效果就超过AWS，因为基座模型已经会「像人一样说话」，缺的只是口音。他们正在从头训练一个多语言大模型，把这件事做全。

AI打电话卖产品，没人听出来

节目里最扎耳朵的实验是Play.ht自己做的。他们觉得自家销售的外呼电话太机械，「嘿，你对这个产品感兴趣吗」，于是把ChatGPT接上自家语音，让AI打电话卖产品。结果没有一通电话被识破。他们本来想把录音发到Twitter上展示，后来觉得技术已经好到危险，作罢了。

危险是真实存在的。TikTok上已经有人用Joe Rogan的声音做假广告带货；有案例是骗子冒充儿子，谎称进了拘留所急需用钱，骗走受害者全家的积蓄。Nathan在片头说，TikTok上已经有创作者自述家人被骗，开始推广「家庭口令」，只有自己人知道，冒充者答不上来。

Mahmoud的防线分几层：

• 上线克隆功能前，花几个月跟每个申请用户打电话，逐个确认用途，纯人工审核，完全不可扩展，但足够谨慎；
• API和平台加了审核层，拦截冒犯性和种族歧视内容，宁可误伤也不放过，用他的话说，误伤几个用户，好过有人被这项技术伤害；
• 自研AI声音检测分类器，免费公开在官网，任何人都能上传音频测真假，希望社交平台、银行、声纹登录系统接进去；
• 放弃了名人声音黑名单方案，因为最危险的场景恰恰是普通人的声音被冒用去骗钱，你不可能把全人类的声音放进数据库，所以改为监控生成的内容本身。

Nathan做过语言模型的红队测试，补了一个类比：有人开口问「你母亲的娘家姓」，这本身就是危险信号。Mahmoud说他们会持续把漏网的滥用案例喂回审核系统，越用越准。

他对社会适应的判断是：图像这边，Photoshop已经训练了大众10年，看到图先怀疑三分；声音还没有这层免疫，接到兄弟的电话，第一反应永远不会是「这是假的」。未来所有媒体的第一道默认反应，都会变成「这是真的吗」。他引用Sam Altman的意思说，社会需要时间来适应这项技术。

他最大的担心在监管侧。Stability AI正被起诉，他怕诉讼把技术拖进又一个寒冬，负责任的市场放慢了，不负责任的市场照常狂奔。他拿互联网平台做类比：正因为平台不为用户发布的内容担责，Facebook和Twitter才做得起来，这条免责逻辑争议很大，但没有它，这些平台早就死在官司里了。

模型会商品化，然后呢

Nathan抛了一个尖锐的问题：语音这个领域，做到真人配音水平基本就到头了，很难有「超人语音」的概念，那核心技术会不会很快商品化、开源化？

Mahmoud的判断分两层。基座模型确实会商品化，就像语音识别卡在95%准确率之后，各家差距越来越小，一两年内大概率出现质量相当的开源模型或API。他的护城河在两个地方。

第一是垂直专用模型加私有数据。客服和销售电话的录音，市面上找不到1万小时、5万小时的公开数据集，他们正在跟手握这些数据的伙伴合作，训练出来的模型别人复制不了。大制作公司还有更硬的需求：克隆自家演员的声音做后期，但绝不能外泄，所以要求私有化部署。他顺嘴提了一个佐证：GitHub Copilot上市两年半，FAANG级别的大厂几乎都不用，怕代码数据泄露。

第二是应用层。亚马逊有个团队在用Play.ht，尽管AWS Polly就是他们自家的产品，原因很简单：他们不想雇个开发者从头搭方案。Mahmoud的结论是，就算OpenAI明天开放语音API，企业还是会选有界面的应用，打开就能干活。他把它比作云计算：AWS和Azure之下，应用层照样长出了一堆大生意。Nathan补了一个观察，OpenAI自己就是这么打的：API价格压到每百万token 2美元，近乎白送，同时去企业签七位数的合同，两头通吃。

顺带一提成本结构。推理不贵，用户付的钱能覆盖，他们的基础设施能把几百个声音模型动态装进单张GPU；真正烧钱的是训练和实验，当前这个大模型花了几十万美元，好在公司做了三年，收入能扛住。

明天就能用的几件事

节目结尾照例问了嘉宾的日常工具。Mahmoud的清单很实用：ChatGPT用来总结长邮件、写代码、把Python改写成JavaScript，他说对话式编程像带实习生，先让它干，回来一起迭代，一年前你跟他说他会这么写代码，他绝不相信；Copilot留着做新项目的补全；Grammarly管邮件。问到Neuralink，他说如果「思想直接转文字」的植入体真做出来，100万个名额还没满他就想试，因为人手敲键盘的带宽，远配不上思考的速度。

从这期节目里能直接带走的行动清单：

• 跟家人定一个只有自己人知道的口令。接到「亲人」的电话谈钱，先对口令，或者挂断用已知号码回拨，这已经是TikTok上创作者们自发推广的做法；
• 拿不准一段音频真假，可以去Play.ht官网免费测，他们的AI声音检测器公开可用；
• 有内容产出的人，可以试试把文章转成音频版，或者用10分钟素材克隆自己的声音来提效，注意选有审核机制的正规平台；
• 写代码的人，把ChatGPT当实习生用：给上下文、给好例子、一起迭代，比单发指令有效得多。

Mahmoud在节目里说过一句定位很准的话，可以当作整期节目的注脚：

这是有史以来第一次，人类的声音被自动化了。

声音被自动化之后，信任的规则要重写一遍。好消息是，做这门生意的人里，至少有人已经在抢着装刹车了。