# Meta 花 150 亿美元买数据公司，训练数据到底贵在哪 > Cognitive Revolution No. 260 中文精读 - 原标题：The Data Factory: Inside the $100B Race for Post-Training Supremacy, with Labelbox CEO Manu Sharma - 发布日期：2025-07-08 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/260-the-data-factory-inside-the-100b-race-for-post-training-supr-Kr3vNR.html - 精读字数：约 4382 字（阅读约 10 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 150 亿美元。这是 Meta 为了拿到 Scale AI 的数据能力、并把创始人 Alex Wang 挖去领导超级智能团队，付出的代价。交易落地后，其他前沿实验室开始重新盘点自己的数据供应链，整条产业链都在重新洗牌。 Manu Sharma 在这条链上站了七年。他是 Labelbox 的创始人兼 CEO，公司 2018 年成立，干的是「数据工厂」：给几乎所有西方顶级 AI 实验室供应训练数据，也服务大量做任务微调的企业。 这期 Cognitive Revolution 聊的就是这门生意。主持人 Nathan Labenz 是 AI 投资人和创业者，问题抠得很细。Manu 给出的数字和判断，比大多数人以为的更激进。 ## 后训练成了吞金兽 先看一组数字。Manu 说，**每一个西方前沿实验室，现在每年在训练数据上的花费都超过 10 亿美元。**这还只是数据，不算算力和人才。 钱花在哪了？他把训练分成三段。第一段预训练，把互联网上能拿到的数据喂进去，让模型学会人类数据的模式。第二段后训练，把模型变成能用的助手。第三段是现在正在发生的强化学习阶段。 三年前，行业里流传的说法是 98% 到 99% 的算力花在预训练上，后训练只是个小尾巴，快速迭代一下就行。Manu 的判断是，这个比例已经彻底翻转。**增长最快的预算，全部流向后训练。** 原因不复杂。基础模型的知识和推理能力已经足够强，但它不会自动变成一个能干活的代理。写代码、做数学、操作电脑、完成长周期任务，这些能力得靠后训练一点点教出来。 Nathan 提到 Claude 4 训练时的一段插曲：配置文件里有个拼写错误，一个用来教模型拒绝有害系统提示的数据集被漏掉了，结果模型真的开始跟随有害指令。团队发现后没有回头重跑整个后训练，而是在后面做了补丁式调整。从这个细节能看出，后训练在整个训练流程里的分量已经重到，连 Anthropic 这样强调安全优先的公司，也不愿意为一个配置错误推翻重来。 ## 造健身房，不写推理过程 Nathan 试着总结范式的转变。过去是监督微调：人类不仅给最终答案，还要把「怎么想到的」一步步写出来，模型模仿这个过程，希望学会思考路径就能提高答对率。现在的做法是，只给一个好答案，再写一套评分标准，让模型自己试几百万次，用评分模型给每次尝试打分，把分数变成奖励信号。 Manu 确认了这个描述，补了一句关键的：**在大多数领域，你根本不知道正确答案是什么，但领域专家知道什么算「好」。**这种质量判断必须被写进数据里，模型才学得会。 他举了个例子。前两年有研究想让人类专家把推理过程一步步讲出来，做过程奖励模型。后来发现，让人把自己怎么想的完整表达出来，太难了。研究者基本放弃了这条路，转向「建模问题、给解法、设计评分方式」。**推理本身成了训练过程中涌现出来的东西。没人教它怎么想，它自己练出来了。** Manu 管 RL 环境叫「健身房」。模型进去，反复试错，练出一项新技能。编码环境、数学环境、电脑使用环境，各练各的。难点在于怎么造这些健身房：既要让它足够代表真实世界的任务分布，又要能自动判分。所以还有一条并行的工作流，训练可靠的自动评分器，让它和领域专家的判断对齐。这一步做扎实了，RL 训练的规模才能放大。 Nathan 追问长上下文是怎么练出来的。把 100 万个 token 丢给一个人，让他负责给出正确答案，这事几乎不可能。Manu 说有两派做法。一派程序化生成，造一堆哈希值埋在噪音里，测模型能不能找出来，就是大海捞针。另一派做真实任务。他举了金融分析师的例子：读几十份 SEC 文件、财报电话会录音，跨模态整合信息，建一个公司模型，预测未来盈利。这种任务人类要做几天，模型现在能做一部分，但远不够可靠。 他把这种能力叫「多跳推理」。**难点是建立多个信息源之间的联系，做出判断。找到信息只是第一步。**能难倒所有前沿模型的长上下文任务数据，实验室愿意为它付高价。 ## 人类数据还是锚点 Nathan 提了个尖锐的对比。DeepSeek R1 的论文显示，纯靠 RL，不给人肉推理轨迹，模型也能在数学和代码这种可验证领域学得很好。代价是行为开始变得奇怪，语言会乱切换，整体表现飘忽。 Manu 的回应绕回一个基本事实：**人类智能被严重低估了。**我们建起了整个经济，解决了无数日常问题，这套能力极其特殊。模型在某些维度上超越人类，在另一些日常任务上还差得远。 人类数据提供的是一个锚点。你要造一个能接客服电话的 AI 系统，用户有几千万种提问方式，每种都带着情绪和上下文。基础模型只是起点，架构师需要一份覆盖这些分布的数据集，定义系统该怎么回应、该有什么性格、该在什么情况下升级到人工。这些是设计参数，得由人来定。 Nathan 还问了一个他好奇很久的问题：为什么到现在没有公司付钱，让用户在自己电脑上装软件，记录一整天的操作，拿这些行为数据去训练模型？Manu 的回答很直接：快了。他说 Labelbox 现在就在给很多实验室生产计算机使用代理的训练数据，只是还没到消费级产品大规模采集的阶段。 他解释了难点。**模型对屏幕内容的理解已经不错，文字和常见 UI 元素基本能认。一进入真实工作流，失败方式很反直觉。**会话进行到第三分钟，模型忘了第一分钟设定的目标。空间理解很差，几何图形的相对位置经常搞错。时间跨度一长，任务链条就断。这些失败模式意味着，光靠用户授权录屏拿到的原始数据还不够，得有结构化的任务设计、过程标注、结果验证。这也是数据工厂还在中间赚差价的原因。 ## 微调退潮，上下文工程涨潮 Manu 说了一句可能让很多企业不舒服的话：**2025 年，微调最好的用途是降成本、提效率。想让它更聪明，微调帮不上太多忙。** 他举了 MedPalm 的例子。谷歌几年前专门用医疗数据训练了一个模型，现在 Gemini 2.5 的基础版本在医疗任务上已经超过了那个专用模型。基础模型从海量数据里学到的推理能力，本身就能迁移到专业领域。企业以为自己手里有几 PB 的独家数据很值钱，这些数据往往帮不上推理能力的忙。 微调还有两个真实场景。一是成本优化：某个任务查询量极大，用大模型太贵，可以用大模型生成数据，蒸馏到小模型上，质量相当，成本降一个数量级。二是极其独特的能力，基础模型确实没有，只能靠微调硬灌进去。 除此之外，主流做法变成了上下文工程。Manu 拿 Cursor 举例：它在代码补全上效果好，是因为能把目录结构、相关文件、相似函数全部找出来，塞进上下文里给基础模型。这个框架可以搬到任何领域：搞清楚任务是什么，把所有相关信息组织好，喂给模型。 Nathan 问，企业微调主要用什么模型。Manu 说主要是三个：Qwen、Llama、Mistral。私有模型他看不到全貌，选择逻辑跟行业有关。高度专业的行业，比如医疗、国防，更倾向开源，因为数据不能出内网，或者有气隙环境的要求。高科技数字原生公司，比如 Airbnb、Pinterest，直接用云厂商或 OpenAI 的最强模型。**微调的需求是分层的：一层是合规和部署约束，一层是成本和延迟，还有一层是能力定制。**三层叠加，才有微调的空间。 ## 25 万美元一年的数据工人 Labelbox 自己就是个重度 AI 用户。他们要在 70 多个国家筛选领域专家，物理学家、数学家、奥赛级程序员。传统做法是出卷子考试，根本规模化不了。 现在的做法是让 AI 面试。每天超过 2000 场，平均满意度 4.6 到 4.7 分。AI 读过候选人的简历和论文，能聊 30 分钟，问的问题细到人类招聘官根本到不了的程度。面试完，另一个 AI 系统给这场对话打分，判断这个人能不能产出高质量的训练数据。 Manu 说这里有他们自己微调的模型。基础模型对「什么样的人能当好数据生产者」有自己的判断，和 Labelbox 的标准不一致。他们用积累的专家表现数据反过来训练评分系统，把判断校准到自己想要的位置。这也是他给微调找的一个真实用例：**当基础模型缺少某种特定的质量判断，而你又有一套闭环数据能校准它，微调才值得做。** 有意思的是作弊。有人把两台设备对着放，让 AI 和 AI 对话，试图骗过面试。Manu 把这当成人类创造力的体现，正面看待，同时不断升级检测系统。 Nathan 猜顶级 AI 训练师的年收入是 14 万美元。Manu 说低了。**平台上前 25% 的贡献者，年收入超过 25 万美元。**分布是幂律的，其他领域、其他国家的贡献者可能一年 4 到 5 万美元，但最顶尖的那批人，收入还在涨。五年前，数据标注的平均时薪比这低得多。那时候的工作是给图片打标签、标偏好。现在的工作是造 RL 环境、写验证器、设计评分标准。同一批人，技能升级了，报酬也跟着升级。 聊到主权 AI，Nathan 的想法是：巴西、印度这样的国家，与其自己搞数据中心和前沿研究员，不如把本国的语言文化数据收集好，直接送给前沿实验室，让模型对本国更好。Manu 不完全同意。**他的建议是从目标倒推，先定义清楚公民该获得什么样的服务体验，再倒推需要什么数据、什么系统、找谁来建。**税务申报能不能更直观？公立医疗能不能用对话方式提供基础咨询？先把目标和体验定清楚，后面才 tractable。 他拿 Planet Labs 的经历举例。那家公司每天扫描整个地球，巴西政府想知道亚马逊雨林的砍伐情况，自己发射卫星不现实，买 Planet 的分析结果更合理。有些能力必须由专业公司提供，政府负责集成和决策。另一些场景，政府有独特的数据和场景，适合自己主导。 Nathan 问，前沿模型是在收敛还是在分化。Manu 的回答分两层。**宏观上看，它们越来越像。**界面、交互、通用能力，普通用户分辨不出区别。进到细节，分化很明显。他自己写代码，能感觉到不同模型的性格：Gemini 擅长算法和数学密集的问题，Claude 在重构和分布式系统设计上更强，会不断追问、读更多文件，试图做出更好的架构决策。他认为这是刻意的优化。Anthropic 明显押注编码，其他实验室有的优化消费级场景，有的做通用助理。最终这些能力会不会合并回一个统一的世界模型，他说还不知道。 ## 明天就能用的几条 Manu 最后提到一个他一直在想的问题：AI 怎么获得质量判断力。人类看到一个东西，知道它好，但往往说不清为什么好。这种直觉来自真实经验和人类心智。怎么把它灌进模型，是接下来几年最关键的难题之一。谁先解决，谁就能更快地推进前沿。 这场对话能带走的东西很具体，挑几条明天就能用上的。 - 做 AI 应用先问清楚要解决什么问题，再从目标倒推数据和系统。先建平台再找用途，是最常见的失败模式。 - 别急着微调。先试上下文工程：把任务相关的所有信息组织好，塞进上下文。成本低，迭代快，基础模型每几周升级一次，你的系统跟着白赚。 - 真要微调，先想清楚是为了成本还是为了独特能力。前者用蒸馏，后者才值得投入数据标注和专家网络。 - 做评估集从小样本开始，迭代扩充。最好的团队都是这么干的，最差的团队一上来就想造完美数据集。 - 数据工作的报酬在分化。如果你有领域专长，又愿意学怎么造 RL 环境和评分标准，这个市场的价格还在涨。前 25% 的贡献者已经能拿到 25 万美元一年。