「人人都在谈 RLHF，几乎没人在做」：从 API 到可用产品，还隔着 90% 的活

先说一个数字：95 比 5。

这是 Nathan Labenz 的经验之谈。他是创业者兼 AI 投资人，主持深度访谈节目 Cognitive Revolution。按他的观察，一家公司拿到大模型 API 的那一刻，活儿才刚开始：收集数据、研究失败案例、收集用户反馈、持续监控表现、跑对比实验。工作量比经典的 80/20 法则还要极端，可能是 90/10，甚至 95/5。

这期嘉宾叫 Raza Habib，伦敦大学学院机器学习博士，读书期间在 Google AI 做过研究实习，现在是 YC 孵化公司 Humanloop 的 CEO。这家公司做的事一句话能说清：帮开发者从「能调通 GPT 的 API」走到「模型稳定跑在自己的产品里」。Nathan 自己就是 Humanloop 的客户，他在节目开头主动声明这期没有赞助，他就是想知道，服务过这么多家公司之后，Raza 到底看到了什么。

CTO 们在偷偷搞副业

Raza 看到的第一件事，是大公司高层的偷偷摸摸。有 CTO 找上门，第一句话是：别告诉任何人，我和另外两个工程师偷偷搞了三个月，我们觉得这东西可能改变一切，能帮我们吗？HubSpot 联合创始人 Dharmesh Shah 也是亲自和工程师坐在一个房间里调试。Nathan 补充说，这类高管很多已经很久没写代码了，但这些工具的门槛低到他们能亲自下场。

客户结构也有规律：大公司主要做两件事，给现有产品加 AI 功能，或者自动化内部流程；创业公司几乎都是把模型直接做进产品，卖给第三方。

拿到 API 只是起点，原型、评估、定制三座山都在后面。这是 Raza 总结的客户三大痛点：一是怎么把问题改写成模型能理解的格式，Nathan 特别强调这个概念被严重低估；二是评估，生成的邮件或文案好不好，标准很主观，怎么规模化判断；三是定制，模型会编造，也不认识你公司的私有数据。

用途清单很杂。早期一大类是写作辅助，Sudowrite、Copy.ai、Jasper 都在解决同一个问题：帮你跨过空白页。然后是法律，合同审查、摘要、问答、从文档里抽取信息，是个很大的类目。销售自动化也多，开完会有录音转写，要总结，要填进 CRM。医疗领域有几家公司在帮医生处理保险理赔的表格和文书。写代码更不用说，从自然语言转 SQL，让业务分析师自己查数据库，到一家叫 Cursor 的公司干脆从零重做一个 IDE，假设第一天就有大模型。

Raza 的原话：这是一场真正的寒武纪大爆发。

ChatGPT 赢在界面容错

Nathan 画了一条轴：一端是 GitHub Copilot、ChatGPT 这种实时陪跑的开放交互，另一端是 Copy.ai 那种填几个要点、按一个键就出成品的固定流程。Raza 的回应是，别当成二选一，这是一整片正在探索的体验空间。

他的核心观察是，ChatGPT 的成功一半在模型，一半在界面。聊天界面天生容错。第一次没理解你的意思，你不会立刻放弃，你处在对话里，预期本来就是多试几轮。而 OpenAI 最早的 Playground 是一个文本框，输入，回车，很多人第一次结果不理想就放弃了，丢下一句「这玩意不行」，再也没回来。模型明明没那么差，是界面把人筛掉了。

Copilot 是另一个方向。代码场景对延迟极其敏感，等大模型慢慢回复会打断心流，所以让它坐在你肩膀上，看着你的代码，偶尔给个建议，反而成了正确形态。

评估，70 比 30 背后的难题

Nathan 给了一个他自己都觉得「有点疯」的数字：GPT-4 技术报告里，用户对 GPT-4 相对 GPT-3.5 的偏好比只有 70 比 30。考虑到两者在律师资格考试上一个垫底、一个进前 10%，这个偏好比低得离谱。他的解读是，评估本身就难，大多数人可能在自我欺骗，看到了并不存在的规律。

Humanloop 的解法是抓三类反馈：

• 显式投票，比如点赞点踩。有用，但绝大多数用户根本不点，样本严重偏斜。
• 隐性行为信号。生成的销售邮件发出去了吗？营销文案被复制走了吗？用户是不是在反复点「重新生成」？最后这个基本等于告诉你第一次没搞定。
• 文本修正。用户在使用前改了什么，把改动记下来，就是最真实的纠错数据，既能人工分析，也能直接拿去微调。

至于让用户二选一那种偏好收集，Raza 说内部评估里很常见，Anthropic 和 OpenAI 都这么攒训练数据，但放进生产环境体验很差，除了 AI Dungeon 那种互动小说，多数产品不会这么干。Nathan 还提过一个思路：用免费换反馈，像广告模式的接班人。Raza 的看法是，隐性行为信号可能已经够用，未必需要做这笔交易。

有了监控，切换模型的收益一眼可见。Raza 说，好几个客户从 text-davinci-002 切到 GPT-3.5 或 GPT-4 时，用户满意度曲线几乎一夜跳升。没装工具的大多数人，换了模型只能凭感觉说「好像好点了」，到底好没好，说不上来。Nathan 自己的场景是给上千名行政助理配 AI 工作流，他要完整的使用历史和随时换模型的自由，OpenAI 的 30 天删除政策正好跟他对着干，这也是他选 Humanloop 的原因之一。

日常的工作循环长这样：筛出失败案例，回到交互式环境里逐条看，提假设，是检索抓错了上下文，是提示词写得不对，还是模型能力不够，改一处，重新部署，靠监控和 A/B 实验验证。Humanloop 的 Playground 有个关键设计，把同一个提示模板同时跑在 10 到 20 个输入上，看它在不同情况下稳不稳。Nathan 说他教人理解语言模型时就用这招，把科比、圣诞老人和拜登填进同一个模板，一看就懂。这个「发现问题、修复、验证」的循环能转多快，基本决定了你能不能做成。

这段讨论里还有一句 Nathan 听到后直接叫好的话：花时间在交互式环境里玩模型，比只看基准测试分数，能建立好得多的直觉。定量指标重要，但「玩」会给你分数给不了的东西。反例是乔姆斯基，这位语言学泰斗在纽约时报撰文，列举了一堆他断言大模型永远做不到的事。Raza 说，那些例子原封不动丢进 Playground，全都能跑出来，连变体都不用。

你只会想：试一下能有多难？

RLHF 像高中生的性

聊到微调和 RLHF，Raza 说了这期节目流传最广的一段话：

RLHF 就像高中生的性。人人都在谈，几乎没人在做。

他先承认 RLHF 确实有效，对比 InstructGPT 论文里 RLHF 前后的模型，差距很大。但收益大头是让模型更好用，一句自然语言指令就能得到想要的结果，基础能力未必变强了。问题在于流程太长：先标注偏好数据，再训练奖励模型，然后跑强化学习，每多一步就多一堆出错的地方，InstructGPT 论文附录里全是必须做对的细节。Raza 做研究时的体感是，每次把 RL 组件去掉，系统都更稳一点。

所以他的建议是一条复杂度阶梯，从下往上试：先提示工程，再监督微调，最后才考虑 RLHF。提示工程最快最便宜，但有天花板，靠它永远拿不到 10 倍的延迟或成本改善。监督微调难一点，能做到提示工程做不到的事。RLHF 在这之上再加分。他见过一个创始人，手写 50 个例子，拿去微调 davinci-002，就得到一个相当可靠的模型。50 个例子，换 RLHF 根本玩不动。

微调此前没火，还有两个现实原因。一是 OpenAI 当时只开放初代 davinci 的微调，价格是 turbo 的上百倍，能力反而更旧。二是很多人担心下一个模型发布后自己的微调白做。但走到前面的公司已经验证了这条路：YC 公司 Phind 做开发者搜索，相当于 Google 和 Stack Overflow 的合体，重度使用微调加反馈闭环，在这个具体任务上做出了世界顶级的模型。Raza 给了一个他自称反直觉的预测：微调很快会多起来。微调的两大动机是成本和性能，用更小的模型在自己的任务上做到同样好甚至更好。开源差距也在快速缩小，早期的 OPT 和 BLOOM 确实拉胯，但 Llama 性能已经能打，只是许可证不允许商用。他提醒，语言模型的「Stable Diffusion 时刻」会比图像领域来得慢，模型更大更难训，手机上跑不现实，但 GPT-3 水平的开源替代品不用等太久。

另一个细节：做创意写作辅助的客户，能用基础模型就用基础模型，因为 RLHF 模型的输出多样性变差了。好用和能力，有时候要二选一。

Agent 卡在 80%

2023 年 4 月，Agent 是最火的概念，但 Humanloop 听到的客户反馈高度一致：试了，很努力地试了，成功率 80%，不够上生产。

Raza 用一个算式解释了原因。假设单步准确率 85% 到 90%，链式串起来就是 0.9 的 n 次方，n 一大就趋近于零。整条链是开环控制，中途没有任何反馈，错误只会复利式累积。他的判断是，光靠 RL 把单步准确率提上去救不了 Agent，真正的解法是给链条加纠错机制，比如另一个模型盯着，发现哪步错了就喊停重试。没有纠错，Agent 永远不可靠。顺带一提，Humanloop 自己的 tools 功能只做「给模型补充信息」，接 Google、维基百科、私有数据库，把检索结果塞进上下文；让模型执行操作的功能还没开，理由很直接，还不够可靠。

那 Agent 的问题 2023 年底能解决吗？Raza 说他很乐观，理由有点自嘲：他在机器学习领域待了六七年，每次预测进度都过于悲观，被现实反复打脸，这次他学乖了，相信会很快。Nathan 的经验正好相反，创业者总是低估变化真正发生所需的时间，但 AI 能力进步是他职业生涯里唯一的例外。两人最后达成一个共识：研究上解决和产品上可用之间，永远有一道鸿沟。Humanloop 这家公司本身，就是这道鸿沟的产物。

电视上演话剧的阶段

Nathan 问了一个他问过很多聪明人的问题：你日常在用哪些 AI 产品？答案出奇地少，大多数人就是 ChatGPT 加 Copilot。Raza 的清单长一点：Mem，一个自组织笔记应用，东西全丢进去它自己归类，很多人没意识到背后全是 AI；Phind；Cursor，他天天用；Fathom，给每场 Zoom 会议做转写和摘要，一天用四次；还有把 GPT-3.5 和 Claude 直接接进 Slack，模型就在干活的地方，用得反而比专门开 ChatGPT 多。

为什么杀手级应用这么少？Raza 的答案很干脆：太早了，这一波应用 2023 年才开始建，四个月时间，指望遍地开花为时过早。他给了一个 Nathan 很喜欢的类比：现在的 AI 应用就像最早的电视节目，把舞台剧原样搬进电视框里。真正的电视语言，剪辑、机位、蒙太奇，都是后来发明的。AI 产品的原生形态还没被发明出来。

方向上他给了一个双重判断。存量品类里大公司占优，HubSpot、Salesforce 加摘要、加信息抽取，难度不高，渠道和反馈量还占便宜。全新品类里创业公司赢，从零重造的 IDE、重构的语言学习应用，老玩家做不出来。同时他放了句狠话：存量公司不跟进就是等死。你是法律科技公司，你不加这些功能，别人加了，体验直接碾压你。这一轮大企业的动作也快得反常，微软是全行业加 LLM 功能最快的公司，没人比它快，Replit 算第二个。OpenAI 和贝恩的合作他也觉得聪明，企业销售这种脏活累活交给伙伴，自己专心推能力边界。

节目照例有脑洞环节：如果 100 万人已经植入 Neuralink 且安全数据良好，你装不装？Raza 的回答是，我已经有假肢了，就是手机，整天粘着它，就差一步。但他不想把大脑直接开放给广告驱动的模型，不想让哪家大公司直通自己的脑子。他的希望清单：加速科研、把个性化教育的成本打下来、把人从杂活里解放出来；恐惧清单：让自主系统决定普通人的命运，比如筛简历，把偏见规模化。

明天就能用的三件事

节目最后，Nathan 请 Raza 提炼原则。Raza 给了两条，朴实得不像话。

第一，建评估体系。做不成产品的团队有个共同点：没有评估系统，改来改去全凭感觉，等于闭着眼睛飞行，根本不知道每次改动是变好了还是变坏了。

第二，把迭代周期压到最短。这东西没法一次做对，只能靠快速试错。试一个改动，看数据，再来一轮，不管改的是提示词、微调数据、提示链，还是交互设计。

具体到执行，Raza 描述的成熟路径可以直接抄：先用 Playground 加十几个测试用例，回答「这事模型到底干不干得了」；能干，就接进产品，大公司通常会先搭个 Streamlit 内部小工具收几百到几千条内部评估，创业公司常常跳过这步，内部满意度到 80%、90% 就直接上线；然后用生产数据迭代。信号量要求比多数人想的低，每天几百次交互，就够支撑决策了。

三类反馈，点赞点踩、隐性行为、文本修正，明天就可以在产品里埋上。失败案例每周筛一次，逐条看，提假设，改，验证。这套循环转起来，你就已经跑在大多数还在凭感觉调提示词的人前面了。