格式对加5分，编译过加10分：Predibase CEO 讲清了强化微调怎么赚钱

格式正确加 5 分，代码能编译加 10 分，单元测试全部通过再加 20 分。Predibase 联合创始人兼 CEO Dev Rishi 用这三行打分规则解释强化微调（RFT）。客户不用准备几千条标注样本，几十个例子配上这套评分细则，模型就知道该往哪个方向改。他把这套方法压缩成一句话：能测量，就能改进。

Predibase 是一家做模型微调、后训练和推理部署的公司，今年年初推出了号称业界第一个端到端的 RFT 平台。这期对话来自 Turing Post 的 Inference 播客，主持人是 Ksenia Se，由 Cognitive Revolution 联合播出。主持人 Nathan Labenz 在开场里说，Ksenia 的提问风格短促、直接，把大部分时间留给嘉宾，这一点值得他学习。整期聊下来，Dev Rishi 确实讲了不少企业一线的细节，比大多数停留在概念层面的讨论扎实得多。

RFT 和传统微调差在哪

传统监督微调需要大量标注数据，一条一条标好输入和输出，模型照着模仿。RFT 换了思路，数据量可以降到一打左右，同时引入奖励函数。奖励函数就是客户自己写的评分标准，模型生成结果后按标准打分，分数高的行为被强化。Dev 举的例子是教模型写代码：格式对加 5 分，能编译加 10 分，单元测试通过加 20 分。分数可以叠加，模型逐渐学会优先满足那些能被测量的条件。

他给这套机制划了一条边界：RFT 适合那些结果可以被客观衡量的任务。代码能不能跑、答案对不对、格式合不合规，这些都有明确标准。换成"这段文案写得好不好"，评分规则就难写，效果也会打折扣。所以他不认为 RFT 会取代监督微调，工具箱里多了一件工具，眼下最适合的场景是那些有明确验收标准的窄任务。

真正让他兴奋的不是单次训练，而是把 RFT 接进持续反馈的回路。今天的 RFT 还是一次性训练，训完就固定。他预计接下来会变成模型在生产环境里持续变好，这是范式的转变。

训练一次，然后一直学

主持人开场的第一个大问题就是标题里那句：什么时候能做到训练一次、终身学习。Dev 的回答很直接，这个世界今天已经在了，只是分布很不均匀。大多数客户在 production 里用的模型，99% 的活是别人干的，自己只做最后 1% 的定制。他看到的趋势是，企业会从"用一个别人训好的静态模型"，转向"搭一条管线，让模型在生产中不断改进"。

已经有人在这么做。他合作的两家医疗公司做患者端的 copilot 和助手，手里有大量真实对话数据。他们的做法是两条腿走路：一边用大模型当裁判，判断每段对话的质量；一边让临床医生标注一部分对话，把标注结果作为持续反馈喂进 RFT 循环。过去要攒几个月的标注才能训一轮，现在几十上百段对话的标注就能启动。反馈的粒度从"月"变成"天"，这是质的变化。

Predibase 为此上线了一个看起来很朴素的功能：自动收集任何生产部署里的 prompt 和 response。训练模型最难的从来都是数据，把线上流量直接变成训练集，这一步省掉了大量手工活。第二个方向是让模型直接从小剂量反馈里学习，平台里已经有 DPO 这类技术，另外还有一些偏研究性质的新方法在跑。Dev 说未来几个月会公开一些成果，重点讲真实 agent 应用里用户愿意给出的反馈长什么样，怎么把它系统化成一条连续的流。

90% 的五次方

聊到 agent，Dev 的判断很冷静：现在还在极早期，很多做出来的东西相当脆弱。他先给 agentic workflow 下了定义，两个要件。第一是多轮、多次 LLM 调用组成的链条，单次文档分类不算，那是一次性调用。第二是能调用工具，能触发外部函数来完成用户请求。

脆弱性来自哪里，他给了一个很好算的例子。如果单次调用只有 90% 的准确率，一条链上要跑五次，用户体验就跌到 50% 以下。演示时走在"金路径"上一切顺畅，稍一偏离就触发各种边角情况。他在 Google Assistant 团队做过产品经理，那是早年第一批 AI agent，用的是经典 NLP 方法，没用生成式模型。他的评价是，行业要跨过去的那道坎，就是把 agent 工作流做得更健壮。最后一公里的质量，决定了 agent 能不能真的用。

这段话对企业选型有直接含义。评估一个 agent 方案，别只看单步准确率，要算端到端的成功率。五步链条上每一步 95%，整体也只有 77%。步数越多，对单步质量的要求越苛刻。

收银机不需要背法语诗

主持人问他，未来企业是不是会用更多小模型做特定任务。Dev 的判断是整块蛋糕都会变大，2027 年和今天比，每一种模型的使用场景都会更多。差别在于企业市场的主流会往窄任务走。他引用了一位客户的话，这句话值得原样保留：

通用智能很好，但我不需要我的收银系统背法语诗。

他举的客户是 Checkr，做员工背景调查，需要从材料里精确提取犯罪代码、违规记录、过往履历这类信息。这类任务不需要模型会写 Python，也不需要它会写诗，需要的是在某一组任务上做到极高质量。企业里高价值的场景大多长这样，一个非常明确的专用 agent，把一串任务稳稳当当地解决掉。消费者市场不太一样，通用性在那边更值钱，一个能聊任何话题的助手确实好用。

他还提了一类大公司，比如 Marsh McLennan 这样的保险经纪和咨询巨头，几十年积累下来的业务流程效率，会因为这类模型出现阶跃式的变化。对 AGI 本身，他的态度是敬而远之。研究实验室会给出各种定义，按图灵测试那条线算，我们可能已经在附近了。他花时间想的不是终结者式的场景，而是这些能力落到具体业务流程上会发生什么。他给这个方向起了个名字，叫实用专用智能（practical specialized intelligence）。

另一个反直觉的判断是，不会出现一个模型统治一切的局面。开源、闭源、不同参数规模会混着用，就像任何软件工具一样，人们会为具体任务挑最合适的那个。Predibase 的赌注是，需要窄模型的任务增长速度，会快过通用模型正在占领的那部分。

推理难在生产，评估难在主观

推理这件事，Dev 说它像个洋葱，一层层剥开越来越难。爬行阶段，难点不在软件工程，在 GPU。跑一个最大模型的单副本可能要 8 到 16 张 H100，采购、自动扩缩容、搭推理服务器，每一步都要人。Predibase 把底层推理框架 LoRAX 和微调框架 Ludwig 都开源了，谁都能自己搭起来。

真正的分水岭在生产和原型之间。原型能跑通就行，生产要求 99.9% 甚至 99.999% 的 SLA，要有容错、蓝绿部署、多区域复制。GPU 昂贵，每一个 token 都要榨出价值，总拥有成本成了核心指标。他们平台里有个软件层面的吞吐优化技术，号称能把模型吞吐提升两倍，这类优化在生产阶段才显出意义。

他对推理市场有个判断：基础模型推理会越来越商品化，A 公司的 DeepSeek 端点和 B 公司的不会差出天去。有意思的是他所说的"智能推理"，推理管线接上后训练栈，模型在生产中随时间变好。推理和后训练打通，是单一平台能解锁的最大趋势。这个说法他自己也承认，品牌名字还得再想想。

评估是另一个开放问题。他见过的做法有三类。一是用历史留出数据，最干净也最可靠，前提是你有这份数据。二是用大模型当裁判，拿更大的模型给输出打分，这是目前最常见的做法。三是上线后收集产品反馈，凭方向感判断模型表现对不对。他说得很坦白，今天有相当一部分评估其实靠感觉，这一点不该被低估。

开源推理模型帮了忙。DeepSeek R1 这类模型把推理 token 暴露出来，评估的对象从最终答案扩展到中间步骤，能看到模型是怎么一步步走到结论的。闭源模型换个版本就像换了个性格，评估体系要重新调，这种痛苦做过的团队都懂。

开源追上了，泡沫要小心

开源模型的进度，Dev 用的词是超出预期。2023 年最好的开源模型是 GPT-J，和当时的 GPT-3.5 差着一大截。现在 DeepSeek R1 和 V3、Qwen 3、Llama 4 这些模型，不少基准上已经追平甚至超过领先的商业模型。他说这比他原本的估计早了大约六个月，他以为 2025 年最多做到打平。

关于泡沫，他的观察角度来自客户。分析师报告总在问生成式 AI 是不是泡沫，有没有真实业务价值。他说自己从没被一个真正在做生成式应用的财富 200 强 CIO 问过这个问题。在一线看，处理百万 token 花五毛到一块钱，换来多少回报，绝大多数场景下这根本不是问题，剩下的是选对用例。

他真正担心的是另一件事。市场对多 agent 炫技演示过度兴奋，一窝蜂扑向那些离业务价值很远的场景，然后进入一段幻灭期，把真正能产生回报的用法一起冷落了。他还补了一段历史：2012 到 2022 年这十年，除了最顶尖的 1% 组织，AI 整体上是过度承诺、交付不足，YouTube 的推荐系统搬不到中小企业去。他认为这一波不一样，前提是别把上一波那套叙事又搬回来。

开发方式也在变。过去是先做完美再发布，现在越来越多的团队先发一个六成完成度的方案，快速验证产品市场匹配，同时开始收集数据改进模型。他引用一位导师的话：如果你发布的东西自己都不觉得有点尴尬，说明你等太久了。这套创业公司的打法正在被大公司采纳，这是他最看好的趋势之一。

节目最后主持人换了个话题，问他哪本书影响过自己。他推荐了哈佛心理学家 Shawn Achor 的《幸福优势》。书里的核心发现是，因果关系往往反着来，幸福让人更容易成功，成功本身并不必然带来幸福。他也希望 Predibase 是这样一家公司。做生成式 AI 今天的环境很吵，节奏快，竞争激烈，资金充足意味着牌都摊在桌上，团队因为对未来兴奋而工作，比因为担忧而工作，状态会好得多。

明天就能用的几件事

如果你在评估要不要上 RFT，先问一个问题：这个任务的成败能不能被写成打分规则。能写出来，几十条样本就有机会动起来；写不出来，回到监督微调或者干脆换任务。评分规则从最简单的开始写，格式、能否执行、关键字段是否命中，先跑通再细化。

如果你在做 agent，把端到端成功率算清楚。单步准确率乘上步数，看看数字还剩多少。低于可接受线，先砍步骤或者拆流程，别急着加功能。上线前设计好偏离金路径的测试用例，那才是真实用户会走的路。

如果你在选推理方案，把原型和生产的账分开算。原型阶段开源框架够用，LoRAX、Ludwig 这类工具能省不少事。进生产之前，把 SLA、容错、多区域、每 token 成本这几项摆到桌面上，别等业务跑起来才发现账单失控。

最后一条关于评估。别等到模型上线才想怎么衡量好坏，历史留出数据、模型当裁判、线上反馈三条路可以同时走。承认有一部分判断靠感觉不丢人，把靠感觉的部分尽量缩小，才是持续改进回路真正能转起来的前提。