一天把订餐成功率从20%拉到95%，MultiOn CEO复盘智能体这18个月

一个 700 亿参数的开源模型，在订餐位任务上的成功率不到 20%。GPT-4o 能做到 60% 出头。MultiOn 团队花了一天，把这个开源模型拉到 95%，超过人类平均水平。

这是 AgentQ 论文里的真实数据。2024 年 12 月，MultiOn 创始人兼 CEO Div Garg 第三次做客 Cognitive Revolution，和主持人 Nathan Labenz 复盘 AI 智能体（Agent）这 18 个月的起落。18 个月前两人第一次对谈时，AI 社区正为智能体沸腾；从 BabyAGI 引爆全民热情，到大批项目哑火，再到各家重新押注，Div 几乎全程在场。

下面把这一集拆开讲：智能体当年为什么集体翻车，MultiOn 怎么走中间路线，训练数据从哪来，以及 2025 年到底会不会是智能体之年。

十八个月，从全民狂欢到集体哑火

先交代背景。GPT-4 发布后的那段时间，AI 圈最火的话题就是智能体：给大模型接上工具，丢一句模糊指令，退后看它自己折腾。BabyAGI 这类开源项目就是这么火的。

结果大家都看到了。惊艳瞬间有，但都是例外；平均来看，模型在琐碎小步骤上的错误率太高，串不起长链条任务。模型还容易卡死在人类一眼就能绕开的障碍上。于是行业主流转向 Nathan 称作「智能工作流」的东西：人类设计好流程，AI 只做其中需要智能的子任务，没有自由发挥的余地。轨道铺好，车只能沿轨道开。

有意思的是，MultiOn 今年 1 月还是开放式智能体最乐观的一家，如今也部分随了大流，但产品仍接受任意自然语言指令。Div 给当下的定位是个类比：早期互联网。

「有点像互联网的第一波浪潮。还是毛糙的、慢的，大多数人还没用过。但接下来它会成为主流，质量和可靠性会大幅上升。」

他自己就是重度用户：买菜靠智能体下 Instacart 订单，日程安排交给智能体，LinkedIn 和 Twitter 上还挂着自动化机器人。他也承认，目前没有任何一项使用称得上无处不在。

铺轨道，还是让它自己开

轨道方案和自由方案，MultiOn 选了中间路线。

Div 的判断很直接：明确知道要打哪个用例，做企业服务、做 B2B SaaS，线性受限的工作流就是正确的起步范式。问题出在消费端。MultiOn 调研了 3000 多名用户，消费者行为因年龄、地域、人群差异极大，受限流程得建几百万条，根本建不过来。完全放开也不行，他拿 Anthropic 刚推出的 computer use 举例：通用性很强，但很难找到它稳定的用武之地，而且做全通用模型，对创业公司来说六个月内看不到回报。

所以 MultiOn 落在中间：能定义清楚的任务用受限工作流，配大量验证器，再加领域微调模型，让模型在没见过的网站上也能自我改进。Nathan 拿 NVIDIA 的 Voyager 项目作对照，那个智能体在 Minecraft 里学新技能再缓存复用。Div 说他们沉淀出的范式叫「用户选择」，订机票是最好的例子：

「你不会想让智能体随手订一张随机航班，浪费几千美元，都不问你一句。想傍晚飞吗？要直飞吗？坐哪家航空？偏好非常重要。」

用户给一句可能模糊的指令，比如「这周末帮我订去巴黎的航班」，智能体负责填空，关键决策点必须交还给人。

一门刚开张的生意：付钱看你怎么用电脑

这期最有意思的段落，是 Nathan 抛出的问题：为什么没人付钱看我用电脑？

他的逻辑是，高端标注员越来越贵，专家级标注更是稀缺。装一个观察者软件，记录一个人怎么操作电脑，最好让用户边做边把思路说出来，模型的思维链平时可不会说出口。他半开玩笑说，起码该有人每月付他 1000 美元。

Div 的回答分两层。第一层，这个市场刚刚出现，一两个月前还不存在；如果买家就是冲着你的个人数据来的，每月 1000 美元这个价位是可能的。第二层，价格要分开算。通用的电脑操作数据不贵，模式高度重复，外包到人力成本低的国家就能便宜收到大量数据。真正值钱的是个人数据：你愿意交出完整的私人操作记录，就有人愿意为「Nathan 到底怎么用电脑」付大价钱。

Nathan 提到一项脑科学研究作类比：第一版 MindEye 要给每个人扫约 20 小时 fMRI 才能训出专属模型；第二版把所有人的脑成像映射进共享空间训基础模型，新用户只需 1 小时数据微调。他猜电脑操作数据也会走同一条路，海量通用数据打底，个体数据只做边缘微调。

数据从哪来？MultiOn 早期做过「教学」功能，用户示范、纠正智能体的动作，靠这个收了数百万条操作轨迹。但众包的老毛病是质量，Div 举了特斯拉的例子：特斯拉长期众包驾驶数据，每周都要面对同一个难题，怎么从海量数据里筛出真正有用的部分，为此得搭一整套过滤管线。他们也在 MTurk 这类平台发任务，让人在浏览器里走完指定流程收数据，他猜测 Anthropic 也在这么干。自己的做法是定向补缺：找出智能体最薄弱的环节，有针对性地激励用户贡献那部分数据。

更激进的路是自我博弈（self play）。Div 认为眼下最缺的就是高质量的环境奖励信号：下棋有 AlphaZero，写代码有单元测试打分，真实世界的电脑操作没有现成奖励函数，只能再训一个模型给代理奖励。而任何人为指标都可能被钻空子，他提到强化学习的经典翻车：算法发现生成一堆空字符串就能拿满分。Nathan 补充了 DeepMind 2017 年那个画面：游戏里的小船原地转圈无限刷分，游戏本身毫无进展。

一天，从 20% 到 95%

AgentQ 是 MultiOn 交出的技术答卷，也是这集信息密度最高的部分。

实验环境有两个：学术界的 WebShop（自包含的仿亚马逊购物环境）和真实的 OpenTable 订餐网站。起点是 Llama 3 70B instruct，在 OpenTable 上成功率不到 20%；GPT-4o 超过 60%，离能用还远。叠上几层技术后，两个环境都推到 95% 左右，超过人类平均成功率。全程只花一天，提升约 4.5 倍。叠的是什么？Div 逐层拆了：

• RFT（强化微调）：先立基线，涨幅有限。
• DPO（直接偏好优化）：Div 给了个直观解释。监督微调只告诉模型「照着最优数据学」，DPO 同时喂正负样本，朝正样本做梯度下降，远离负样本做梯度上升。他打了个比方：正样本像个圆圈，只学正样本，模型的预测可能盖住圆圈却散得到处都是；加上负样本，等于同时告诉它该做什么、不该做什么，预测被压紧到圆圈附近。MultiOn 还把 DPO 从单步升级到轨迹级：智能体要连续走很多步才到终点，评分是给整条轨迹的，这是他们对原算法的关键改动。
• 蒙特卡洛树搜索（MCTS）：涨分最大的一层。灵感来自 Richard Sutton 的「苦涩教训」，Div 的原话是，看起来唯一管用的就是搜索加学习。他也点了 Noam Brown 的名字，从 Meta 的外交扑克到如今在 OpenAI 的工作，核心都是搜索与学习结合。具体做法：让智能体大量探索网站路径，初期刻意注入高熵、多试路线；走通的是正轨迹，失败的是负轨迹，攒起来喂给 DPO，循环往复。

「只要反馈信号的质量足够高，你就可以一直把这个模型做得更好。」

Div 承认连他们自己都意外：一天，4.5 倍。这基本是个可以不断重复的自我改进循环。

顺带说模型选型。生产环境用 Llama 70B，理由是速度和推理能力的折中；方向上正转向推理时计算，也就是 o1 代表的路：算力从训练挪到推理，同一个模型，少扔算力可能还不如 GPT-4，多扔算力可能强得多，应用要回答的问题是愿意给模型多少延迟和资源。o1 预览版数学很强，数学之外表现平平。至于基座模型，Div 的判断相当直白：基座已经不重要了，各家配方和数据大同小异，排行榜挤在一起，OpenAI 在 GPT-4 时代一骑绝尘的领先已经没了。现有规模下架构趋同，参数量再放大 10 倍，或许才有新架构冒头。微调方面，10 万 token 量级用 LoRA 更划算，几十亿 token 才值得全参训练，参照 Chinchilla 缩放律估算。MultiOn 为了快速迭代，几天的训练就敢上线。

榜单 95%，现实里还会卡在购票页

95% 超过人类，那 MultiOn 的智能体能取代人类助理了吗？Nathan 的测试给出了答案。

他在 TestFlight 上试了开发版 App，让智能体去买底特律雄狮队感恩节大战的票，还有密歇根对俄亥俄州立的球票。理解指令没问题，搜索没问题，甚至会换路线，有时走 Google，有时凭先验知识直奔票务网站。但有几回，票明明就在屏幕上，智能体却说「我找不到票」。另一单 Instacart 买感恩节食材，卡在注册页，Nathan 手动把邮箱验证码贴进对话才走通。他放话，跟这个智能体正面比拼完成任务，他还是会押自己赢。

榜单和现实的落差，Div 的解释是基准测试是极窄的领域。WebShop 总共五六个环境，他们是按站点逐个优化，把模型调到几乎总能解开这个环境。要在整个互联网上都做好，复杂度和资源需求完全是另一个量级。路径只能一步步走：先在窄域超过人类，再逐步泛化，剩下的问题是需要多少数据、多少反馈、多少算力。

但他对泛化不悲观，理由有两条。第一，同类网站长得像：亚马逊、塔吉特、百思买、沃尔玛，无非搜索框、商品目录、详情页、结账，一个站点上学到的东西能大量迁移到同类站点。第二，互联网本来为人设计，UI 多样性有限，下拉菜单、抽屉、导航栏、文本框，翻来覆去就这些。训练站点数量足够多之后，应该存在一条缩放律，让模型泛化到没见过的网站。

视觉方案上，MultiOn 用混合管线：DOM 里的元标签和 ARIA 标签（这些本来就是为机器人优化的）加上屏幕视觉信息，两边都要。智能体看到的屏幕表示和人类不一样：它能点击不可见的元素，一个十页的网站它不滚动就能「看全」，反而得人为加约束让它表现得像人。Nathan 遇到的购票卡顿，可能还跟票务网站多年的反爬虫机制有关。

网站会拥抱还是封杀智能体？Nathan 的猜想是商家会分化：Instacart 这类会抢当早期采用者，Ticketmaster、StubHub 这类会筑墙，因为智能体在吃它们的利润。Div 的长期判断是合作，对商家是双赢；短期不好说，票务网站跟黄牛斗了多年机器人，反制措施现成。认证基础设施在起步，比如 Anon 这类公司在做智能体身份。他的大判断是：颠覆性技术扩散都需要时间，此刻正处在在线交互被智能体颠覆的起点，初期必有反弹，长期是双赢。

大厂压顶，2025 会不一样吗

Claude 已经推出 computer use，OpenAI 的智能体产品传闻不断。一家没融到 100 亿美元的智能体公司怎么活？提问前 Nathan 顺带披露，自己是 MultiOn 的小额投资人，投钱主要为支持他看好的人和事。

Div 的答案是找窄赛道打透。他举了两个样本：Perplexity 抓住「修复幻觉」这一件事做成搜索产品，Cursor 抓住编程 IDE。computer use 是能力，能力不等于产品。前沿实验室手里握着千百亿美元，不会去追窄领域，只想堆算力做出足够通用的东西；把通用能力变成产品体验，是创业公司的活。他管自己的研究方法叫「产品导向的研究」：先有真实问题，再为缺的那块拼图做研发。多数前沿实验室的研究在真空里做，先有算法再找用途，方向刚好相反。

垂直场景上，MultiOn 在看餐厅订位、差旅、日程这类方向，思路是窄而不僵：比 Playwright 脚本灵活，比通用模型可控。他还看到企业自动化这块：UiPath 这类 RPA 工具脆弱、部署周期长、离不开专职工程师；如果智能体自动化既抗界面变更，又能让普通业务人员自己搭，会是个大解锁。

要不要绕开 UI 直接调网站内部 API？Div 用自动驾驶打比方：给自动驾驶修专用车道，工程上简单，但那是十年的基建加政治；特斯拉们选择造一辆能在任何车道上开的车。人类擅长用 UI 操作网站，AI 理论上能做得一样好甚至更好，先把这个做到位，专用协议留给以后。而且 API 优先会牵动企业内部的产品团队、前端团队、安全合规（SOC 2 那一套），阻力远比技术问题大。

成本、速度、可靠性怎么权衡？Div 给了个判断框架：看操作可不可逆。聊天是软边界，错了无所谓；买机票、下单支付是硬边界，错了代价高。可逆操作用小模型快跑，不可逆操作前必须堆验证，慢一点、贵一点，用户也愿意换可靠性。

对 2025 年，Div 和 OpenAI、Anthropic 的判断一致：智能体之年。他预期的画面接近钢铁侠的贾维斯：帮你找文件、订机票、约牙医。他反复用的词是「应用大爆炸」：

「我会称之为应用的爆炸式增长，到目前为止还没发生过。智能体应用现在仍是稀缺品。」

他自己的日常印证了这一点：买菜、日程、社媒自动化，有用，但远谈不上无处不在。技术先行的公司做了三年，市面上依然几乎没有成熟的智能体应用。他的解释很朴素：轮子还没造好，造不了车。下一波他最花时间的事，是设计新的交互范式：智能体自动跑，人随时可以接管、手动操作，或者看着它学。

明天就能用的三件事

把这集压成可以马上上手的结论：

• 做智能体产品，先选窄赛道再谈通用。判断依据是任务边界：可逆的操作放手让小模型跑，不可逆的操作（支付、下单、发送）前面必须加验证层。这是 Div 给出的成本、速度、可靠性三角的解法。
• 微调别急着上全参。10 万 token 量级用 LoRA，几十亿 token 再考虑全参训练，对照 Chinchilla 缩放律估算数据量。MultiOn 为了快速迭代，几天的训练就敢上线。
• 评估智能体别只看跑分。问三个问题：基准环境和目标环境差多远？是逐站点优化过的还是通用模型？出错的操作可不可逆？95% 的窄域成绩和全互联网的可靠性之间，隔着量级差距。

最后留一个两人都认可的市场信号：看人用电脑的数据买卖刚起步，通用操作数据会很便宜，个人数据会很贵。如果你手里恰好攒着某个垂直领域的操作轨迹，现在知道该找谁谈价了。