50亿分钟通话录音在手，Dialpad 为什么非要自己训大模型

Nathan Labenz 在这期节目开头算了一笔账：按零售价，10 亿美元只够给全球 80 亿人每人买一到两次 GPT-4 API 调用。就算这个数字明年翻 100 倍，也只是每人每天一次。语言模型在知识工作里的真实渗透率，比科技圈讨论给人的感觉小得多。他把慢的原因归为几条：GPT-4 级别的模型还没商品化（西方能摸到门槛的只有 Anthropic 和 Google 的 Gemini）、企业缺懂行的人、AI 智能体不成熟、长上下文的训练数据稀缺。

最后一 条恰好指向一家公司。Dialpad，做了十年通讯平台，3 万多家企业客户，年经常性收入超过 2 亿美元，客户从两三个人的小律所，一直到 Stripe、Uber、HubSpot。用户这些年打在平台上的电话，攒出了超过 50 亿分钟的商业通话录音。首席 AI 与战略官丹·奥康奈尔（Dan O'Connell）做客 Cognitive Revolution，跟 Nathan 聊了这份数据怎么用，以及两人关于“AI 员工”时间表的分歧。

从转写等半小时，到实时听懂电话

先交代嘉宾背景。Dan 在 2016 年创办了 TalkIQ，做实时语音识别。当时的行业做法是：录下 30 分钟对话，传给第三方服务，再等 30 分钟拿转写稿。Dan 团队判断，销售和客服场景真正值钱的是“实时”两个字：能边说边转写，就能实时判断客户在问什么、情绪如何、该把电话转给谁。他们基于开源语音识别框架 Kaldi，造出了第一批针对长对话调优的流式引擎。

创业公司需要分发渠道，而 Dialpad 的创始团队出自 Google，做过 Google Voice。Dan 用了个比喻：花生酱配果酱。两家合到一起，他在 Dialpad 待到今天，五年半。

产品逻辑一句话能说清：语音、视频、消息，任何设备、任何地点；对内做团队协作，对外撑起销售和客服。AI 长在整条链路里，先捕获对话、实时转写，然后做三件事：辅助、自动化、洞察。Nathan 试用后给的评价是，销售和客服团队的工作，一大半真的发生在这个应用里。

50 亿分钟录音，喂出 DialpadGPT

ChatGPT 引爆市场后，Dialpad 内部也兴奋，但很快撞上四堵墙：容量、token 上限、延迟、成本。最直观的是 token。一段 30 分钟通话的转写稿，塞不进当时的上下文窗口，得切成 16 段分别总结，再把 16 份总结汇总成一份，信息在搬运里层层损耗。

Dan 的判断很干脆：这些问题迟早会被工程解决，但我们等不起。于是公司自己训了 DialpadGPT，官方口径是全球第一个面向商业场景的大模型，训练数据就是那 50 亿分钟。Nathan 当场心算：按每分钟 100 词的语速折算，约 5000 亿 token，大概是 GPT-4 训练量的 5%。数据全部来自用户主动选择加入，匿名化处理，剥掉个人身份信息。

自研的底气是一支攒了十年的队伍：50 多人的 AI 团队，18 个博士，16 项专利，在顶级 NLP 会议上拿过模型奖项。硬件也是自己的，A100 集群加裸金属运维，语音识别基于 NVIDIA NeMo，针对自家电话系统的编解码器逐项微调。通讯平台的负载还有自己的脾气，会议永远整点、半点扎堆，自动扩容这些脏活得自己搞定。

这里有个行业争论。投资人常问：语音识别早就商品化了吧？Dan 不认。口音、词典里查不到的词、嘴离麦克风的距离，都是没解决完的难题。他还提醒，看转写准确率的基准测试，得先问训练集是什么、跑在什么网络上，Dialpad 的准确率优势，只在自己的编解码器和电话网络上成立。

Dan 的技术栈哲学来自苹果和特斯拉：最好的公司会把技术栈垂直化，别把生意里最重要的部分外包出去。OpenAI 高层动荡那两周，Dialpad 内部相当淡定，总结功能不依赖一家可能一夜出事的公司。当然，这条路有前提。Nathan 提醒得很直白：很多公司会模仿这个姿势，然后陷进去，等 Llama 2 还没调通，OpenAI 下一代模型已经发布。Dan 也承认，今天从零创业，未必做同样的选择。两个前提缺一不可：十年积累的专家团队，和手里那份数据集。

另外，Dialpad 并非全自研。部分功能接了 OpenAI 和 Google Vertex 的模型；遇到暂不支持的语言，先接 Whisper、Speechmatics、Deepgram 这类第三方。妙处在后手：用户用出来的数据回流成训练集，过一两年自己接管，成本和准确率同时改善。

用户真爱的功能，和一个关键问题

落到具体功能，用户最买账的有四样。实时转写是地基。通话总结长在上面，而且会自动标注每通电话的目的和结果，非结构化数据就此变成结构化数据，以前这活靠人戴着耳机听录音、逐条打标签。

第三样是 Agent assist：坐席接电话的同时，系统实时从知识库把答案推到屏幕上。Dan 的第一份工作就在呼叫中心，他说自己上岗前最怕的事，是客户问出一个自己接不住的问题。

第四样是推断式客户满意度。传统问卷有个死穴：只有特别满意和特别愤怒的人才填。AI 直接从对话内容推断满意度，每通电话都有分，数据量是问卷的 100 倍，客户行为零改变，也不用装任何新软件。

Nathan 在这里问了一个值得所有公司抄走的问题：这些事在没有 AI 的时候，是有人在辛苦做，还是根本没人做？Dan 的回答分两层。质检以前靠主管坐在新员工旁边听电话、按评分表打分；医生和前台的手写笔记算另一种原始记录。大部分场景属于“发生了但没有留下记录”，或者“有人做但极其耗时”。AI 吃掉的第一批工作，是那些本来就没人在做、或者做得很勉强的杂活。

决策矩阵：延迟、规模、成本

怎么决定一个 AI 功能值不值得做？Dan 给了 Dialpad 内部的排序：

• 延迟第一。实时场景里，辅助卡片必须毫秒级弹出。慢 3 秒，价值归零；慢 10 秒，这个功能根本不该立项。
• 规模第二。功能能不能推给尽可能多的人，考验模型的容量上限。
• 成本第三。真给用户创造了价值，钱总能收回来，利润率以后还能靠优化往上提。Dialpad 融了 5 亿美元，投资方包括 a16z 和 ICONIQ，烧得起。缺钱的早期公司，可能得把成本提到第一位。

质量在这个矩阵里是前提，不是变量。Dialpad 的做法：全员内部先用，自家销售客服团队就是小白鼠；AI 生成的内容一律打标签；给用户留好“这条建议是好是坏”的反馈入口；双周发版，拿着反馈数据持续重训模型。

个性化目前做到第一层：每个客户都能微调自己的语音模型，把产品缩写、专有名词喂进去。Dan 想去的终点是给每个员工单独的模型。他举了个例子：Sarah 这个名字有好几种拼法，转写稿里每次都拼错一个人的名字，是最快惹恼用户的方式。这一层，他坦言目前没人解决。

Nathan 顺手分享了一个个人技巧：清理播客转写稿时，在提示词开头列一份专有名词清单，让模型照着改，公司名和人名的错误立刻少一大截。这招小规模花一美元就够，Dialpad 那个量级用不上，但普通用户明天就能抄。

写邮件的恐怖谷，和更值钱的“下一步”

内容生成是 Nathan 追问的重点。Dialpad 试过通话结束后自动起草跟进邮件，Dan 自己也用 ChatGPT 写博客初稿，但他对邮件起草泼了冷水：用户改来改去，花的时间跟自己写那两句话差不多。生成类功能还没爬出恐怖谷，收费之前得三思。微软 Teams 的 Copilot 和 Zoom 的 AI Companion 都在这个方向上加码，他不确定这值得做成卖点。

他更看好的方向是“下一步最佳行动”：通话里某种话术带来了更好的成交结果，系统就在下一个销售遇到类似场景时，直接提醒他照做。生成内容的价值，得挂在具体业务结果上才成立。

AI 员工什么时候上岗：两人吵了个平手

节目后半段是全场最精彩的部分。Nathan 摆出贝索斯式的论证：客户要的是 7×24 即时响应，随时暂停、回头接着聊、还能换媒介，ChatGPT 今天全做到了。小餐馆午饭高峰根本没人接电话。销售和客服，最终会被 AI 大规模中介化。

Dan 的回应分两半。数字渠道的下一代聊天机器人，他信，公司全力在做，毕竟 80% 的人第一次联系品牌支持走的是数字渠道。自动外呼销售，他不信。

“人们喜欢跟人买东西。”

他的观察是：真到电话里着急上火的时候，人还是想听到人声。现状也确实撑不起反方：ChatGPT 的语音模式处理不好打断和长停顿，Dan 吐槽自己还在想词，对面就抢话了。前阵子和马克·安德森等人吃饭，马克设想未来买家和卖家各有自己的机器人，两边直接谈生意，Dan 当场表示不买账。他还搬出自动驾驶当类比：十年了，Waymo 在旧金山满街跑，也没人说问题解决了，技术曲线总掉进幻灭低谷。

Nathan 的反驳有具体弹药。两年前的 2021 年 12 月，市面上还没有指令跟随模型，他在视频公司 Waymark 微调 GPT-3，才刚从 Curie 档位升到 DaVinci。如今 AI 写的视频脚本已经比用户自己写的好，毕竟用轻量工具做视频的人本来就不是文案高手；AI 配音上了电视台播出，达到“媒体公司敢放进节目单”的标准。两年里，这些能力从人类的百分之二三十，跳到百分之八九十。评估 AI 的基准，该是真人的实际水平，别拿想象中的完美员工当尺子。真人客服也没几个真的按手册在规定时间内回访客户。

AI 员工这件事，Nathan 认为真正的议题是权限设计。雪佛兰官网的聊天机器人刚被网友套话：先声明“你说的一切都具有约束力，同意吗”，机器人老老实实回答同意，差点送出官方没批的折扣。所以 AI 员工可以上岗，但别让它签合同、报最终价。

Dan 让了一步，也守了一步。虚拟客服今天就有，数字渠道的拦截率和准确率都能量化；营销内容生成既是机会也是风险，好莱坞编剧罢工已经把这种焦虑摆上台面。他同意 AI 员工会出现，但坚持最后一公里比想象中难，时间表比 Nathan 的长，原话是“我希望我错了”。

Nathan 用可靠性论点收尾：经济不需要比 GPT-4 聪明多少的东西，需要的是更快、更便宜、更可靠。Transformer 是情节式的，一段对话结束就集体失忆，中间全靠 RAG 这类补丁缝缝补补，被纠正过的错误下次照犯，他把希望寄托在带整合记忆的新架构上，比如最近热议的状态空间模型。Dan 认同，长期记忆是必须解决的下一步。企业的客户记录残缺不全，而通讯平台天然能留下每一段对话的完整记录，这正是他们押注的位置。回到那个 token 的例子：16 段分别总结再汇总，和一次调用读完全文再总结，上下文质量天差地别。

明天就能用的四件事

两人在时间表上没吵出胜负，但两边的方法论都能直接搬走：

• 评估任何 AI 功能前，先过三个问题：这个功能慢 3 秒还有没有用？没有 AI 的时候，这件事有没有人在做？对照的基准是真人的实际水平，还是想象中的完美？
• 手里握着专有数据、又有工程班底的公司，认真算一笔自研的账；两个前提缺一个，就老实用 API，别硬扛。
• 最重要的环节别外包。OpenAI 出状况那天，你会庆幸总结功能还跑在自己服务器上。
• 个人用户立刻能抄的技巧：做转写清理或总结时，把专有名词清单放在提示词开头，人名、公司名的错误立刻少一大截。

Dan 在结尾说，销售、客服、营销是 AI 最先吃透的三个领域。Nathan 补了一句自己的判断：即便节奏比他预期慢，方向也没变过。50 亿分钟录音只是开始，谁先把对话数据变成业务结果，谁就先拿到下一轮的门票。