从50万到5万美元：自己训大模型，成了明码标价的生意

2022年9月，一家叫MosaicML的公司放出报价：50万美元，从零训一个GPT-3质量的模型，权重归客户。当时不少人当它是营销话术。四个月后，他们把从零训练Stable Diffusion的成本压到16万美元以下。再过三个月，5万。

2023年6月16日，播客Cognitive Revolution请来这家公司的两位核心人物：首席科学家Jonathan Frankle和研究科学家Abhi Venigalla。Jonathan读博期间提出的「彩票假设」轰动一时，是神经网络剪枝方向的经典工作；Abhi在一线带客户项目，天天跟企业的私有数据打交道。主持人是AI投资人Nathan Labenz，联合主持Erik Torenberg。

Nathan开场先摆了一组战绩：MosaicML的MPT-7B-Chat在LMSYS排行榜上发布当时排全球第九，这个榜靠人类盲测给聊天模型排名；把OpenAI、Anthropic、Google和Llama衍生的模型全部拿掉，它是可商用、可微调的开源模型里的第一名。他们还发布了MPT-7B-StoryWriter-65k+，上下文窗口65K token起步，整本《了不起的盖茨比》能直接塞进去。

整期节目就在回答一个2023年年中最实际的问题：自己训大模型，谁在干，图什么，花多少钱。

谁在训自己的模型？答案是「所有人」

Nathan的第一个问题很朴素：到底谁在训练自己的大模型？Jonathan的回答不绕弯子。

「谁在训练这些模型？所有人。你真正该问的是，谁手里有有意思的专有数据？答案还是所有人。」

客户画像五花八门。Jonathan的描述是：从小创业公司，模型就是他们的主打产品；到Replit这种AI优先的技术公司；再到那种「一说名字你会觉得，哇，好大好无聊」的传统巨头，全都在做AI。他说这些大公司手里有惊人的数据，训模型就是激活数据的方式。

Replit是个好例子：用MosaicML训了一个30亿参数的代码模型，某些任务上能打赢第一版Codex，标准的以小博大。客户训的模型从不到10亿参数到几十亿、上百亿都有。

数据侧，客户普遍攥着几百亿token的客服记录和日志，多的超过1万亿token。这些数据塞不进「输入输出对」的微调框框，只能靠继续预训练喂进去。Abhi说他现在大量时间花在数据配比上：模型既要有领域知识，也要保留对世界的基本认知。

ChatGPT爆火之后，企业侧的需求明显加速。Abhi观察到，很多公司想要的其实是「一个信得过的内部版ChatGPT」：数据进得来、管得住，员工用得安心。此前不断有员工把敏感资料贴进ChatGPT的报道，这个痛点真实存在。

节目里有个精到的总结。

「以前大家说，数据是你的护城河。过去一年风向变了，有人说把模型训得足够狠，模型才是护城河。我们在做的，是把训练变简单，让护城河回到数据上。差不多是让机器学习训练重新变得无聊。」

无聊在这里是褒义词：无聊意味着标准化、可靠、人人会用。为什么放着API不用，非要自己训？Jonathan给了三个词，都带C：定制（Customization）、控制权（Control）、成本（Cost）。他自己都承认，这个巧合有点刻意。

• 定制：用大厂API，预训练数据里有什么你不知道，只能祈祷你担心的问题恰好不在里面。MosaicML这里可以像点菜一样配数据，多加点代码，多加点某个领域。
• 控制权：训练在客户自己的云VPC里跑，数据不出门。训完的权重归客户，想拿去开源都随意。
• 成本：OpenAI上微调后的模型，每token价格是基础版的6倍。MosaicML按算力小时收费，跑基础权重还是微调权重，一个价。

Jonathan还补了一句：训一个领域专用、10亿参数以下的小模型，比去微调「传闻中1.6万亿参数的庞然大物」便宜得多。懂的自然懂。

企业拿模型干的活很无聊，但账很值钱

大家爱脑补的场景是对话机器人，企业客户的真实需求朴素得多。Jonathan把主流用例总结成两件事：提炼和总结。

比如新出了一份100多页的判决书，想马上知道讲了什么。比如用LangChain加向量数据库捞出一堆相关文档，需要从中抽出关键段落。就这么简单，就这么值钱。做聊天界面的客户有，但是少数。

Abhi补了一个关键判断：模型不需要全对，只要把人引向正确的方向。没人会拿着模型生成的摘要直接做医疗决策，中间永远站着一个人类决策者。这恰恰是「无聊任务」先跑起来的原因：容错空间大，价值立竿见影。

更有意思的是那些以前根本做不了的事。Abhi拿自己的开源项目举例：用户提问，人类能做到的极限是写文档、写FAQ，不可能给每个用户配一个随叫随到的支持工程师。有了模型，这件事第一次有了规模化路径。

Nathan做任务自动化咨询，体感类似：很多流程，方法早就有，缺的是人力。比如招聘外联，几乎没有公司有资源触达所有想联系的候选人。模型把这类事的成本压到接近零，先入场的人吃一段红利，之后市场会形成新的均衡。

冷门场景也在冒头。多语言是个热点，客户要的语言组合，Jonathan说自己绝对排不进任何人的优先级清单。代价全压在分词器上，Nathan提醒听众可以去查查印地语字母怎么被切分：一个字符可能被切成8个token，相当狼狈。

生命科学是另一条线。MosaicML跟斯坦福CRFM团队合作训过BioMedLM，喂的是PubMed论文，能回答医学诊断类问题；Google的Med-PaLM也在把模型和医生摆在一起对比。蛋白质序列、氨基酸链，本质上也是序列，长上下文技术直接能用上。

节目里还有段有意思的对话。Nathan拿Wendy's的AI得来速举例，问这些企业模型会不会连麦当劳的存在都不知道。Jonathan说，目前没见到客户去「删减」模型的世界知识，主流做法是把开源数据和内部数据混着训。「用GPT-4」和「自己训模型」是个伪二元对立，客户的答案是「都用」。敏感数据用不了API，内部流程GPT-4没学过，但格式化任务和通用问答继续留在API上。工具箱里多一件工具而已。

「微调」这个词，Jonathan一听就皱眉

聊到技术细节，Jonathan先来了一段暴论。

「你跑来说要在2000亿token上做微调，这事儿没有任何『微』的成分。它的难度不比预训练低，甚至更高。」

他讨厌这个词，因为它让人低估难度。真正的技术活是数据配比：只喂公司内部数据，模型会发生灾难性遗忘，把通用世界知识冲掉，像一个只读专业书的人忘了怎么日常聊天。所以领域数据和通用数据必须掺着来，哪怕掺的开源数据和预训练时不完全一样。

这个问题老得很。BERT时代，三年前，就有论文专门研究怎么正确地继续训练，标题直接叫《Don't Stop Pre-training》，别停下预训练。标题就是答案。

Nathan自己就在OpenAI平台上做过大量微调，体感可以当参照：格式和长度要求明确的任务，几十个样本就能调到位；想让模型模仿他的文风，数据量撑不起来，模型学了个大概，幻觉照旧。小任务、小数据，API微调够用；要往模型里灌一整个领域的知识，就得换重武器。

他还观察到另一个趋势：预训练和微调正在合流。以前微调要给模型加个新的分类头，现在不加了，损失函数跟预训练一模一样，就是换个数据格式继续训。他管这叫「伟大的合流」。Jonathan的总结很实在：很多最好的问题至今没人做过严格实验，「我们和客户每天都在学新东西」。

数据质量上，Jonathan给了一条第一性原理：模型就是喂进去的东西。网页数据里广告多，模型就学着在句子里插广告。第一近似下所有token平等，但要让质量差异显现，得下大功夫清洗。这也是维基百科和代码数据以一当十的原因。

企业还担心模型「编造」自家产品。Abhi的解法是长上下文：与其频繁重训，不如把2023年6月的产品清单直接塞进提示词，模型会优先照着上下文回答，可靠得多。

评估这块，学术基准已经快被刷穿，模型好到在这些任务上拉不开差距。MosaicML在推交互式评估和自动化评估；红队测试目前大多数客户还没做，Jonathan暗示这会是他们接下来的服务方向，让大家保持关注。

65K上下文：一根可以拉伸的皮筋

StoryWriter-65k+是MosaicML当时最出圈的发布，靠一项叫ALiBi的技术。传统Transformer给每个位置学一个位置编码，ALiBi把这套东西整个扔掉，换成注意力计算里一个固定的偏置斜坡。

先补个背景。注意力机制本身对位置一无所知，没有位置信息的注意力就是一袋词：下一个token看得见所有词，但不知道谁先谁后。ALiBi的思路是用一组固定斜坡直接加在注意力分数上，离得越远扣得越多。

关键在于：这个斜坡初始化时定死，不参与训练，推理时想拉多长拉多长。训练时斜坡覆盖2K个位置，推理时拉到4K、65K都行，像一根皮筋。改一行配置文件，65K就能变130K。

注意力不是平方复杂度吗？是，没变。但Abhi给了一个容易被忽略的数字：2K上下文时，注意力的点积计算只占整个网络计算量的不到10%。把上下文从2K拉到65K，每token的训练成本涨了大约4倍。贵，但远没到离谱的程度。

为什么有限的参数能吃无限长的序列？Jonathan给了一个漂亮解释：注意力权重在每个位置之间共享复用，跟卷积网络用同一套卷积核扫过整张图、根本不在乎图片分辨率是一个道理。所以理论上序列可以无限长，真正的限制只有两个：显存，和外推上限。经验上，ALiBi大概能外推到训练长度的2倍，65K训练的模型，推理拉到130K左右，输出质量开始下滑。Abhi嘴里的「无限」要打星号：显存会先耗尽，人也会等得不耐烦。

还有个实用细节：长上下文模型读快写慢。塞65K token进去做输入，速度还行；逐token生成时，每一步都要花时间。团队接下来几个月的优化重点就在这。

1美分读40页：推理的账本

MosaicML新开的推理生意，定价表上写着：MPT-7B-Instruct，每1000 token收0.05美分。Nathan换算了一下：2万token，大约40页文本，1美分。

这1美分怎么构成？Abhi拆了一层。以A100为例，租一张约2美元一小时，云厂商自己的成本可能只有1美元左右，规模效应摆在那。GPU按约3年摊销，电费打包在租金里。企业客户按小时买专属算力，MosaicML帮你算清楚需要几张卡、什么型号。A100对不少负载是杀鸡用牛刀，A10可能就够了。

Nathan还想往下抠：电费占多少，硬件折旧占多少？Jonathan不替云厂商猜内部数字，只给了一个直觉：电费占比应该远小于硬件。想深挖的，他建议直接去问Oracle。

商业模式分两档：入门版是共享服务，按token付费，跑MosaicML和开源的现成模型；企业版是专属算力按小时付费，跑客户自己的权重。Nathan追问能不能像普通API一样按次购买，Abhi解释，自定义权重没法跟别人共享一套基础设施，负载一上来还有冷启动问题，所以企业版卖专属算力，容量规划也由MosaicML代劳。部署在哪完全透明，客户自己的云、自己的VPC都行，Oracle是目前的首选合作方。Abhi的原话：「我们把自己当成和云厂商平起平坐的一层。」

为什么企业不自己搭推理服务？Abhi的答案是：服务一个客户容易，服务一堆客户难。批处理、低精度权重、多进程、自动扩缩容，每个环节都要调。想让一个300亿参数的模型做到API级别的延迟，市面上的现成方案寥寥无几。

训练完的模型怎么用起来？Abhi给了一条常见路径：先从基础模型开始，部署到MosaicML的推理服务，用内置试验场跟它对话看看成色；然后分享给内部员工用；再基于反馈做指令微调，一版一版迭代。多数企业应用到最后都需要某种指令微调或RLHF的抛光，才能让人自然地跟模型说话。

节目的花絮藏在细节里。Nathan引用Stable Diffusion「16万美元」的训练成本，Jonathan当场纠正：「低于5万，这个数字得记对。」Nathan事后去查，价格下调的公告恰好发布在他备完课和正式录音之间的那几天。这个领域的降价速度，就是这么不讲道理。

需求端同样凶猛。Jonathan说团队已经在「多做研究还是多接客户」之间做艰难取舍。补一个后话：节目播出十天后的6月26日，Databricks宣布以约13亿美元收购MosaicML，给这份忙碌盖了个章。

明天就能动手的三件事

听完这期节目，有三件事明天就能做。

• 先盘点数据，再选场景。问自己一个问题：如果有个助手读过公司所有的客服记录、工单和合同，你最想问它什么？提炼和总结是最容易见效的起点，别一上来就奔着聊天机器人去。
• 别把API和自训模型当二选一。先掂量数据量：几百亿token以上，输入输出对的微调框框装不下，考虑继续预训练；少量格式化样本，API微调更划算。敏感数据走私有模型，通用问答留在API上。
• 想试水，成本几乎为零。MPT-7B-Instruct在Hugging Face上能直接下载，或者用MosaicML的推理服务，1美分读40页。自己微调时记得掺通用数据，防止灾难性遗忘。

Jonathan在节目结尾留了句话：过去几周他们密集发布，这个节奏不会慢下来，「MPT-7B和5万美元的Stable Diffusion，只是接下来要被碾压的无聊基线」。对一个价格三个月跌了三倍多的行业，这话听着像狂言，回看又像陈述事实。