# 卖出1000亿token才够付一个员工年薪：OpenAI的九道护城河

> Cognitive Revolution No. 31 中文精读

- 原标题：E31: Where are the Moats in AI? With Nathan Labenz and Erik Torenberg
- 发布日期：2023-06-01
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/031-e31-where-are-the-moats-in-ai-with-nathan-labenz-and-erik-to-yVezX3.html
- 精读字数：约 5568 字（阅读约 12 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2023年5月，一份从谷歌泄露出来的备忘录在硅谷刷屏，标题叫《我们没有护城河，OpenAI也没有》。作者的判断很悲观：开源社区追得太快，大模型的领先优势谁也守不住。

一个月后，6月1日的Cognitive Revolution播客把这事儿正面拆了一遍。主持人Nathan Labenz请来投资人Erik Torenberg，后者刚发过一条关于AI护城河的推文串，提问的人排着队。节目里，Erik把OpenAI的护城河一道一道数出来，一共九道。Nathan自己是视频广告公司Waymark的创始人，天天在一线调模型，还给医疗IT公司athenahealth做AI顾问，属于既看牌桌又下场打牌的人。

Erik先给OpenAI的定价权算了笔账。GPT-3.5 Turbo报价2美元每百万token。按这个价格，一家公司要卖出1000亿token，收入才20万美元，刚够付一个员工的年薪。1000亿token什么量级？训练一个LLaMA级别的开源模型大概要吃1万亿token，外界常说这约等于整个互联网的文本量。**把互联网十分之一的文本跑一遍，换来的钱只够养一个程序员。**

想在这个价位上打价格战，先掂量掂量自己要养多少个员工。

## 大盘：AI市场大概率长成云计算的样子

Erik的底层判断是，AI这个“智能公用事业”市场，最终会像云计算一样形成寡头格局。AWS、微软、谷歌这些头部云厂商加起来拿走大约一半市场，剩下的一半留给长尾。AI大概率复刻这个结构：微软加OpenAI领跑，谷歌DeepMind紧随其后，谷歌云同时在给Anthropic供算力；AWS稍靠后，但手里有Hugging Face，还有一票已经把业务放在AWS上的老客户。开源模型总得有地方跑，云厂商天然是宿主。

OpenAI领先开源多少？Erik给的数字是18到24个月：开源社区今天摸到的天花板，差不多是OpenAI两年前商业化的水平。

但这个差距未必会缩小。复刻一个GPT-3质量的小模型，去MosaicML从零训练，成本已经压到50万美元以下；GPT-4的训练成本，传闻是1亿美元。**50万美元和1亿美元之间隔着一道资金墙，GPT-4级别的模型，短期内开源社区够不着。**

那份“没有护城河”的备忘录，Erik认为只说对了一半。开源生态确实繁荣，但“大家不再需要OpenAI”离事实很远。医疗场景的客户对价格根本不敏感，只想要最强的模型。随便做个盲测demo，把GPT-4和一个以羊驼命名的开源模型摆在一起，高下立判。顺带一提，谷歌的Med-PaLM 2在医疗问答基准上已经摸到专家水平，这条赛道开源同样插不进手。

## 九道护城河，一道一道数

Erik列了九道，这里挑信息量最大的展开。

- **产品与价格。**GPT-3.5 Turbo是当下性价比之王，2美元每百万token，免费版ChatGPT就靠它撑着。LMSYS的竞技场排行榜用国际象棋式的ELO积分让用户盲评模型，GPT-4排第一，Claude第二，Claude Instant最近爬到第三，把Turbo挤到第四。Nathan的类比很传神：GPT-3.5和GPT-4的差距，约等于律师资格考试垫底10%和前10%的差距。垫底10%也能干很多活，但天花板摆在那。
- **品牌与信任。**以前有句话，没人因为选了IBM被开除。企业客户现在选OpenAI或Anthropic，逻辑一样：你的AI可能还是会让你难堪，但至少能说自己选了行业标准，人家为GPT-4的安全花了六个月。开源模型训练数据来路不明、实战检验不足，CIO不敢拿职位赌省下的那点钱。
- **反馈循环。**这是OpenAI甩开所有人的一道，没人有ChatGPT那个量级的使用数据。免费版对话默认用于训练，用户可以退出，但默认是加入。Nathan拿微软的Sydney事故做对比：Bing聊天机器人在测试期就有用户在论坛报告异常行为，最后闹上纽约时报头条，可论坛里负责回复的微软员工压根不知道有这个产品；上线后用户纠正了一个日期错误，整场对话就脱轨了。**越狱和模型主动攻击用户是两码事，前者是漏洞，后者是对齐失败。ChatGPT从没主动攻击过用户，这个纪录背后是海量的产品打磨。**Nathan还点了个黑马：Character.ai，产品反馈循环同样紧绷。
- **定价权。**开头那笔账。Erik还补了一句：电费和算力成本要从中扣掉，微软也要拿走属于它的份额。
- **算力特权。**谷歌内部的朋友告诉Nathan，连谷歌这种投了天文数字建基础设施的巨头，都开始给算力配给了。OpenAI在2022年年中就因为算力不够，把资源全押给爆火的DALL-E 2，推迟过其他产品线。这些模型全建在Azure上，护城河深到不需要解释。
- **GPT-4本身。**这道最容易被低估。OpenAI已经用GPT-4去解释GPT-2的内部神经元，把可解释性研究自动化；下一代模型的训练数据，大概率也用GPT-4来清洗。Anthropic一份意外泄露的融资材料里写了句话：在25、26年这个周期掉队的公司，可能永远追不回来。逻辑就在这，**模型本身成了下一代研究的引擎，没有最强模型的人，连数据清洗这一步都跑不过对手。**另外，GPT-4的API不再返回各token的概率分布，GPT-3时代你能拿到前五个候选token和各自概率，想模仿训练的人靠这个能挖出多得多的信息。吊桥正在收起。
- **人才密度。**微软CEO萨提亚·纳德拉问过自家的研究院负责人：他们两百来个人是怎么做到的？我们这么多人，怎么被人家打得满地找牙？Nathan花2500美元一个月买过OpenAI的顾问服务，连商务对接的人都能把技术细节讲透，不用回头问团队。
- **分发与伙伴。**客户名单一串接一串：Intercom、Wix、摩根士丹利、Shopify、可汗学院、Atlassian、Zoom、Brex，外加贝恩这种咨询巨头的合作。企业美国的门，OpenAI已经进去了，后面的人只能抢门缝。
- **网络效应。**这道最弱，Erik自己承认。调OpenAI的API就几行代码，两秒钟就能切到Claude；微调过的模型带不走，但数据集可以拿走去跑开源模型。真正的锁定是社会性的：新工具、新框架发布时默认支持OpenAI；用户换模型时，会把同一段提示词原样粘贴过去试，第一次跑不通就直接给差评。对手被迫围着OpenAI的玩法转，连微软都宣布兼容它的插件架构。**你在玩别人的游戏，还落后一大截，想超车先得追平。**

## 成本焦虑，多数是伪问题

Nathan在节目里反复泼冷水：很多人纠结该不该换便宜模型，账算错了地方。

GPT-4按输入3美分、输出6美分每千token计价，粗略折算，4美分处理两页文本。他给athenahealth搭的工作流，把客户通话的转写稿自动整理成信息丰富的客户档案。GPT-4的上下文窗口只有8K，还慢，长转写稿得切块分批总结，即便如此，过去要花几个小时甚至几天的事，现在通话结束几分钟就能出初稿，人工只做最后一道检查：这90分钟里聊过的重要东西，AI有没有漏掉。

**大多数人在乎从省90%到省99%的区别吗？省90%和省99%都是暴赚，纠结这9个百分点的功夫，提示词早调完了。**他给过一个经验值：常见任务用几轮提示词工程，30分钟内通常能把GPT-4调到能用的水平。这时候该算总拥有成本，一个员工半小时的时间值多少钱，任务要跑多少次才回本。

真正对成本敏感的是另一类业务：高产量、低命中率的生成。Jasper帮用户写营销文案，用户扔两个词就让它生成，大量输出被直接丢弃。Nathan引用了Playground创始人Suhail Doshi的说法，10%的用户一天生成超过1000张图。这种场景便宜模型才有意义，Jasper后来也成了MosaicML的客户。

Waymark正好相反。他们给小企业做30秒广告视频，AI写脚本、挑画面、配配音，大约每3到5个生成视频里才有1个被下载拿去投放，而客户是要花几千美元投电视广告的。生成成本和产出价值比起来九牛一毛，没必要换。

还有一类是任务自动化，目标是100%用上输出。比如客户和候选人的匹配：每月新增100个客户，200个通过层层筛选的候选人，录取率低于1%，两两比较就是2万次分析。人工做不完，历史上只能找到一个差不多就停手。AI跑一晚上做穷举，成本比人工低，质量还可能更好。顺手再让AI给候选人写段个性化介绍词，客户体验直接上一个台阶。

## 嘴上谈安全，手上控节奏

节目里有一段讨论值得单独拎出来。OpenAI、谷歌DeepMind、Anthropic三家领头公司，公开互相说着“安全最重要”的漂亮话。Sundar Pichai讲过类似“唯一重要的竞赛是安全竞赛”的话。Erik把这看成整个AI安全运动、包括EA社区的胜利：没有这些年的安全文献，很难想象三家掌门人会自发对尾部风险表现出这种认真。

实际行为也配合这个调子。GPT-4和PaLM 2的发布窗口挨得很近，Erik判断未来头部的重磅发布还会继续扎堆，背后是私下的互相通气：一起上，谁也别搞出代差，寡头格局谁都别掀翻。谷歌顶住Bing的压力没有仓促应战，事后看走对了，搜索份额顶多掉了几个点，用户用脚投票的结果是没人真的搬家。

Sam Altman在国会推的监管方案也很微妙：只监管训练算力最大的头部公司，别碰开源、初创和研究。Erik觉得这个立场本身合理，但他也提醒，OpenAI根本不需要靠喊危险来营销，**他们的电话被打爆了**。一年前Nathan花2500美元一个月就能买到OpenAI的顾问服务，现在想要专属客户经理，起步价六位数，甚至要承诺25万美元的预付消费。MosaicML的人也说，他们开始在研究和客户之间做艰难取舍，想当客户趁早打电话排队。

> “这是GPT-4，我们迄今最强的模型。和所有模型一样，它仍然会编造事实，仍然有明显短板，而且第一眼看起来比实际更厉害。”

这是Altman在GPT-4发布当天写的声明。科技公司CEO在发布日主动给自家旗舰泼冷水，这种事在别家身上见不到。

不过Nathan也留了一手。OpenAI新发的治理声明里有个更微妙的论点：不发展才危险，可能性与现实之间的差距越大，突发的颠覆越猛。Nathan说这个逻辑他没完全被说服，听着有点“与其别人干出来，不如我来干”的意思。他还打了个问号：OpenAI拿全人类的数据训了模型，转头用条款禁止别人拿它的输出训练模型，这个立场能不能长期站住，两说。

另一条暗线在中国。中国出台的生成式AI规范要求训练数据真实、可靠、不侵权，外界普遍评价为几乎不可能达标。Erik点破门道：**要把全网级别的数据清洗到这个标准，你手里得先有一个GPT-4级别的模型。**数据质量的新标准，客观上会变成头部模型的锁定效应。

## 创业者和投资人该往哪看

给现有巨头判死刑的论点，Erik不买账。Salesforce手握分发、合同和海量文档，自己叠一个copilot，比从零做一个对手快得多。Adobe同理，生成层加精修层都齐了，没人注销Adobe账号。推特上有个叫Riley的博主说得直白：Midjourney很惊艳，但今天要学东西，去学Photoshop，因为Adobe能让你真正做出想要的东西。**“我们要用AI干掉某个巨头”这个创业论点大概率不成立，巨头都知道AI怎么回事，而且平台越大、文档越全，模型理解它的业务反而越容易。**

真正值得期待的是此前根本不存在的新品类。目前跑出来的只有聊天机器人和文生图，更多东西还在路上。Nathan提醒，iPhone和Uber的关系是个好参照：做出Uber的人未必是造iPhone的人，苹果也永远做不出Uber。这个新平台上会长出什么全新的东西，现在还没人知道。

他个人盯着的方向之一是AI仲裁：把语言模型当争议裁判，用智能合约保证执行，管理小额托管账户，自动退款。今天的替代方案是去小额法庭耗几个月，人们会接受一个偶尔不完美但便宜一万倍的裁判。

AI陪伴是另一个让他情绪复杂的市场。Character.ai和Replika的用量数据摆在那，用户增长不会是问题。Nathan采访Replika创始人Eugenia Kuyda时最大的感触是，那么多人严重缺乏陪伴，这本来是个社会问题，现在AI要往里面再加一层变量。他自己不想要AI朋友，怕挤占真实关系，但也承认这股潮流大概率挡不住，就像当年的社交媒体。

医疗AI他看得更冷静。医院系统早就被微软、谷歌和Epic把住入口，新公司想从这片马蜂窝里钻出头很难。Hippocratic.ai只用可信医疗数据训练、坚持不做面向患者的功能，思路清醒，但最后吃下市场的大概率还是微软加Epic那个组合。医疗AI公司Curi的创始人Neel Kosla提过两个细节：病人说吃了麦片，大概率也喝了牛奶；病人去过火人节，大概率吸了一肚子灰。这种常识不在医疗数据库里，恰恰是通用模型的价值所在。

## 明天就能用的四件事

把这一期压缩成四条可执行的建议：

- **新任务一律从GPT-4开始。**它在所有排行榜第一，指令遵循最好，是验证“这个任务到底能不能自动化”的最短路径。先跑通，再谈降本。
- **算总账，别只算token账。**4美分两页文本，先问自己：员工调提示词的时间值多少，任务要跑多少次。省90%和省99%没有本质区别。
- **高产量、低命中率的场景才需要便宜模型。**判断标准是生成物的利用率：Waymark五分之一的利用率都用得起GPT-4，Jasper那种海量试错的玩法才要换Turbo或者微调小模型。
- **盯住LMSYS排行榜。**盲评、ELO积分、实时更新，比厂商自己的跑分更接近真实体验。换模型之前，先去那里看一眼。

最后补一句Erik的提醒：别急着给OpenAI判死刑，也别急着给开源判死刑。差距在18到24个月之间来回拉锯，下个月的故事可能又不一样。唯一确定的是，**手里有最强模型的人，正在用模型造更强的模型，这个飞轮才是所有护城河里最深的一道。**