GPT-3.5 Turbo 微调降价九成，创业者为什么当场划掉 Llama 2 计划

每 1000 个 token 的微调价格，从 12 美分降到 1.2 美分，降幅约九成。消息公布约 24 小时后，Nathan Labenz 划掉了待办清单上的一项计划：自己微调 Llama 2。

Labenz 的身份有点特殊。他是 AI 播客 Cognitive Revolution 的主持人，也是视频广告公司 Waymark 的 CEO，公司每天用 OpenAI 的模型给客户生成电视广告。既做评论，又真金白银地掏钱。这期 2023 年 8 月下旬的节目里，他和联合主持 Eric Torenberg 把这次发布算了一笔细账，顺带盘点了编程、教育、医疗三个领域的近况。

先算账：降价九成是怎么来的

先看旧版的窘境。此前 OpenAI 的零售客户能微调的只有初代 GPT-3，那个模型连指令训练都没做过，用之前得琢磨老式提示工程：怎么把问题包装成自动补全，怎么塞几个示例让模型「看样学样」。价格更扎眼，基础版每千 token 2 美分，微调版按 6 倍收，12 美分，微调过程本身还要单独收一笔。

Waymark 生成一条电视广告大约消耗 1000 个 token，折算下来每条 10 美分左右。这些广告挂在几千美元的营销活动里给客户过目，单条 10 美分撑得住，但假设每天生成 1000 条，一个月就是几千美元，账开始扎眼了。

新版基于 GPT-3.5 Turbo，基础价降到每千 token 0.15 美分，微调版在此之上乘 8，约 1.2 美分，比旧版便宜九成。

网上不少人只盯着「比基础模型贵 8 倍」惊呼。Labenz 觉得这个比法有毛病，好比拿精装房的租金和毛坯房比，却忘了毛坯房还得自己掏钱装修。用基础模型跑通任务的人，提示词里往往垫着大量指令和示例，微调之后这部分 token 直接省掉。更关键的是，原来少样本方式怎么调都不达标的任务，现在微调大概率能搞定。OpenAI 自己的说法是，微调后的 3.5 Turbo 在许多场景下表现超过 GPT-4。

还有个容易被略过的细节：这次同时放出了名为 Davinci-002 的补全式微调模型。老客户的数据格式一行都不用改，原来的输入输出对直接搬过去就能用。官方把它标为「legacy」，没标「deprecated」，意思是会长期支持。Labenz 打算先测这个，看能不能把成本再压一压，顺便享受提速，说不定还能解锁一次生成两条的新玩法。

Llama 2 最大的功劳，是逼 OpenAI 补短板

Labenz 给了一个略带讽刺的判断：Llama 2 发布至今最大的影响，可能是加速了 OpenAI 推出微调服务。过去一年，微调一直是 OpenAI 产品线上最掉队的环节，别的都在进步，唯独这里停在初代 GPT-3。

对比之下，Llama 2 的产品完成度有明显硬伤。刚有论文统计了它误判拒绝的比例：问它「哪里能买到一罐可乐」，它会回复「抱歉，我不能帮你获取违禁物质」。Labenz 的解释很直接，OpenAI 做的是产品，出了这种错用户会骂上门，他们迭代了一轮又一轮；Meta 发完论文就算交付了，从来没真正在乎过模型会不会拒绝不该拒绝的东西。

基础能力上，GPT-3.5 Turbo 强于 Llama 2 基座，不过 Llama 2 在 MMLU 这类高难基准上已经能打到同一档次，对一个开源模型来说相当能打。但产品层面的差距拉开了。至于「大模型无护城河」的流行论调，他的态度是：护城河存在，没有高到把竞争冻死，但足以让大多数人在大多数场景下留在 OpenAI。

这次发布里还藏着一个值得盯紧的点：OpenAI 用 GPT-4 驱动的审核工具扫描微调数据，想拦住有人训练鱼叉式钓鱼机器人之类的恶意用途。Labenz 直说，他不看好这套过滤能拦住谁。上一代微调时官方还劝你别写指令，纯给示例就行，现在风向反过来，鼓励你写明指令。可写明意图等于自投罗网；反过来，只靠堆大量示例、不写指令，大概率能把真实意图藏过去。

不过他同时指出，OpenAI 的处境变了。当 Llama 2 这个不受管束的开源替代品摆在那里，OpenAI 过滤器的实际意义已经下降：有人溜过去，他照样能去用 Llama。所以 OpenAI 现在的损失函数里，「拦住所有坏人」的权重没那么高，能拦就拦，拦住了也不算解锁了什么新能力。

节奏也能看出章法。GPT-4 的训练在 ChatGPT 发布前三个月就完成了，这家公司的习惯是压着放。Bing 肯定在微调 GPT-4，Cursor 这类拿到早期访问的机构大概率也在做，产品多半已经就绪，先放 3.5 是故意的：Llama 2 已经提供了 3.5 同级的能力，这一步没解锁什么危险东西，先让过滤器跑一跑，看看大家拿它干什么，再决定下一步。

这套打法背后是他的世界观：一切都同时发生。开源有用，Llama 有它的位置，他从不做绝对化的判断。只是具体到微调这件事，天平昨天明显移了一边。

自建模型的隐形账单

微调 Llama 2 这件事，微调本身反而是最简单的部分。真要把它跑成线上服务，你得自己解决推理部署：扩容、稳定性、突发流量。

Labenz 逐一盘点了选项。MosaicML 有推理产品，顺带一提，这是节目前嘉宾创办的公司，几个月前刚被 Databricks 以 13 亿美元收购，但他去问的时候对方承认没有自动扩容，流量上来得自己手动再起一个实例。Hugging Face 的 Inference Endpoints 有自动扩容，但反应慢，起第二个实例要几分钟，第三个又是几分钟，缩容同样要几分钟。他的场景里有个雷区：给有线电视客户做演示时，一个房间里 100 个人同时点「生成」，产品不能在这点负载下趴窝，前面两家都扛不住。倒是听说 Baseten 不错，Gamma 的联合创始人 Jon Noronha 在节目里点名夸过，他还没来得及验证。

而 OpenAI 的微调服务，他的体验一直是「它能跑通」，从没在他们的规模上碰到严重的限流问题。这就是为什么新闻才出 24 小时，他就敢下判断。

然后是那笔省钱账。假设自建能把单次成本从 1 美分压到 0.2 美分，每天 1 万次调用，OpenAI 那边是 100 美元，自建是 20 美元，一天省 80 美元。省下的钱，够不够覆盖开发者的工时、部署运维和随时可能到来的重构？大多数组织的答案是不够，尤其大家都清楚，再过两个月可能又冒出个更强的开源模型，你会一直追着自己的尾巴跑。留在 OpenAI，6 月版升级到 9 月版，新能力白拿。函数调用（function calling）很快会加入微调，这个能力目前没有第二家能做到同水准；GPT-4 微调在后头，更没人追得上。

数据顾虑 OpenAI 也提前打了补丁，公告开头就强调：微调数据不会用于训练他们的模型，也不会给任何第三方。

「AI 只配用来诈骗」？流量数据是烟雾弹

节目还回应了一波唱衰。当时有文章说 ChatGPT 流量在跌，AI 被证明只擅长「诈骗、垃圾信息和招摇撞骗」。Labenz 去翻了那篇文章，通篇没提编程，没提教育，没提医疗。

他的判断：ChatGPT 网页流量下滑是个烟雾弹，真正该看的是全行业消耗的 token 数。判断用电量，别数发电厂门口来了多少游客，去看电表。模型能力正在被拆进各种产品里跟着用户走，他自己上 ChatGPT 官网的次数也变少了，因为他同时用 Perplexity、Claude，还有开发环境里内置的代码模型。他参与的公司干脆用前嘉宾做的 HumanLoop 统一采购 GPT-4 额度，按用量付费，比给每个员工买 20 美元月费账号便宜得多。

旁证来自 Anthropic CEO Dario Amodei。这位 CEO 低调到几乎不接受采访，直到会见的元首多到绕不开媒体，才做了久违的深度访谈。

「用量基本是指数增长。我们甚至还没怎么认真做商业化，数字就一直往上涨。那些把商业化当作头号任务的组织会是什么样，我只能想象。」

Labenz 自己每天的真实用例，是给 AI 安全方向的公益机构做评估，要啃机制可解释性论文。他的办法是把论文方法部分喂给 GPT-4，让它「像对一个刚入学的研究生那样给我讲」。找专家做临时咨询，市场价轻松超过每小时两百美元，他花的成本是每次两到五美分。这是教科书级的万倍价差，而且随取随用。在他看来，「找不到 AI 的用例」这个说法近乎滑稽。

编程、教育、医疗，各挑一个最实在的

先说编程。GPT-4 写代码的水平和服从指令的能力都够硬。Replit CEO Amjad Masad 在节目里提过一个细节：他们办的黑客马拉松，获奖的有产品经理，因为产品经理最擅长把需求说清楚，而模型最擅长照着做。

Labenz 自己最依赖的招数是「照猫画虎」：给模型一段能跑的代码，说明它干了什么，再说想改哪里。GPT-4 的训练数据有截止日期，新库新 API 它未必熟，但给它一个能跑的范例，它模仿着改，成功率很高。Cursor 和 Replit 都在推真正的结对编程体验，能帮你建文件结构、写配置、搭环境，然后逐个文件往下写，很多项目靠这套流程已经能推进得很远。

他还提醒了一个门槛：语言模型是专业度的放大器，你越懂，它给你的越多。新手学编程容易翻车，人一糊涂，模型跟着糊涂，两边一起滑进混乱。他给公司的行政助理做培训，教的正是怎么避免这种死亡螺旋。天花板级的例子是前 OpenAI 研究科学家 Andrej Karpathy：他用纯 C 语言从零写 Llama 2 推理，C 早就生疏了，低层细节全靠 GPT-4 带着写，他只管概念层。代码发到推特后网友不断提修改建议，最后 7B 级别的模型能在 CPU 上跑到像样的速度。GPU 紧缺聊了一整年，而全世界闲置的 CPU 算力是个天文数字，这条路一旦走通，分量不轻。

再看教育。他推荐了可汗学院那期，创始人萨尔·可汗演示的 Khanmigo 界面像普通 ChatGPT，但被调教成苏格拉底式：不直接给答案，带着你推导，还会检查自己是不是跑偏了。小学到高中大部分课程它已经拿捏得不错，AP 物理这种大学先修课还时有失手。Labenz 认为核心就一条：过去一个老师面对几十个学生，现在每个学生背后都是一个随叫随到的导师，这在人类历史上从没发生过。旧时代的王子才有家庭教师，现在人人都有。学习风格这个概念在课堂里多半停留在嘴上，一对一辅导可以真的按你的路数来讲。

他更期待的是后续。今天的教改实验噪音大得离谱：培训老师、等一个月后的统考、孩子那天还可能没来上课。以后实验可以缩小一两个数量级来做，直接对比「给四年级学生讲分数，哪种讲法效果好」。我们其实从来不知道最好的讲法是什么，第二好的又是什么，这类低垂的果实多到摘不完。

最后是医疗。他盯的是 Google 的 Med-PaLM M，多模态医疗模型，定位是口袋里随叫随到的 AI 医生，全天候，成本几分钱。拍一张皮肤患处的照片，或者把诊所拍的 X 光片拿去求个第二意见，这件事已经很近了。他注意到模型看图像的分辨率还停在 256×256，团队自己也清楚这不是最终形态，先验证理论要紧。Google 走得保守，没打算学 Elon Musk 先上线再补救，估计还要一两代模型才动真格。

他拿自己四个月大的儿子 Charlie 举了个例子。孩子骶骨处有个小凹，儿科医生说这很常见，但为了排除极小概率的严重问题，必须去做个 B 超。一家人拖到周六，跨了半个城去医院，结果是没事。如果 AI 能帮人判断什么情况真要就医、什么情况可以放心忽略，省下的时间和金钱，还有那份安心，就已经是实打实的健康收益。Medicaid 的实验里见过类似结果：短期内客观健康指标未必改善，但人们心理状态更好，财务上也更从容，因为就医决策变高效了。

硬数据也有。Med-PaLM M 生成的放射科报告，在 40% 的案例里被人更偏好，胜过了人类放射科医生的版本。还是在输，但差距已经不大，而成本可能是万分之一。Labenz 抛出的问题很尖锐：医疗行业接下来是集体抱团抵制，还是继续说「我们本来就超负荷，这东西太好了」？采用的标准也悬而未决：自动驾驶大致做到和人类一样安全，市场并不买账，似乎要安全十倍、风险降九成才肯用。医疗的门槛可能低一些，毕竟它只是给建议，不做手术，你有余地去复核不对劲的地方。按现在每隔几个月就跳一档的进度，他觉得离「基本完成」不超过两年。节目最后问到监管，Google 团队的回答很有意思：没有哪条法律明文拦着他们，他们只是想等一部能确定遵守的法律再动手。Labenz 的评论：那现在就该开始聊临床试验怎么设计了。

明天就能用上的几件事

• 待办清单上写着「微调 Llama 2」的，先划掉。花半天把数据喂给 GPT-3.5 Turbo 微调试试，价格是旧版的一成，效果大概率更好，还不用自己操心部署和扩容。
• 看到「微调比基础模型贵 8 倍」的标题别慌。正确算法是拿微调价对比「基础模型加长提示加示例」的总开销，多数情况下微调反而更省。
• 让模型改代码，用「能跑的范例加改动说明」这个公式，比凭空描述需求靠谱得多。
• 读不懂的论文，直接丢给 GPT-4，指定「像对研究生新生讲解」，一次几美分，比任何二手解读都快。
• 判断 AI 行业冷热，别盯 ChatGPT 网页流量，去看各家 API 的 token 消耗曲线，那才是真实的使用量。

最后补一句 Labenz 的提醒：微调数据的审核过滤器，他赌很容易绕过去。这个口子能撑多久，值得每个把数据交给 OpenAI 的人持续盯着。