AI替他发了5条推特，5000人没看出破绽：MultiOn创始人拆解智能体的真实进度与成本

2024年1月，播客Cognitive Revolution的主持人Nathan Labenz干了一件有点冒险的事：把推特账号交给一个叫MultiOn的AI智能体。

任务链是这样的：先翻出他最近发的10条推文，记住内容；再去最多三个新闻网站搜AI新闻，哪个源没意思、或者他已经发过推的，就换下一个；最后根据搜集到的信息自己写推文发出去，不超过5条。

AI真的发完了。Nathan自己评价，那几条推文低于他的日常水准，但5000个看到的人里，没有一个怀疑出处。

这期节目里，MultiOn创始人兼CEO Div Garg给出了更实在的数字：简单任务跑不到20步，信息搜集类任务大约100步；用GPT-4，每步成本不到10美分，换成自家微调的模型能压到2到3美分，跑100个子任务总成本控制在2到3美元。雇人干同样的活，时薪15美元起步。

但Div同时泼了盆冷水：GPT-4被严重高估了，它真正达标的只有聊天，深层逻辑推理根本不在场。这期节目值钱的地方，是把「智能体到底走到哪一步」这件事掰开揉碎讲清楚了。

从狂热到幻灭，这家公司选择公开迭代

Div是斯坦福出身的连续创业者，2023年7月第一次上这个节目时，正值GPT-4引爆的智能体狂热期。之后半年，行业掉进幻灭低谷，大批智能体创业公司转入闭门埋头模式，MultiOn反着来，一直公开迭代，边做边发视频，逐步扩大内测名单。

Div对现状的判断很直白：大家以为GPT-4离AGI不远，实际上它只在聊天这件事上过关，勉强能在模糊意义上通过图灵测试；写代码看着漂亮，但很多人已经发现，最后大量时间花在修bug上。模型缺乏真正的逻辑推演能力，产出看着像模像样，深挖下去全是坑。他的类比是：一篇论文排版精美、公式满篇，翻开一看，没有一条定理站得住。

Nathan对写代码更乐观。他管自己的用法叫「类比式编程」，给模型一个现成例子和一个目标，让它从例子迁移到目标，通常两三轮迭代就能用，整体是巨大提速。两人的分歧恰好划出了当前模型的能力边界：模式匹配很强，严密推理很弱。

智能体为什么比想象中难

让AI在网页上点几下、填个表、走到结账页，为什么比聊天难这么多？Div给了三层解释。

第一层，现有模型没在网页环境里训练过，对操作世界的状态没有「接地」。模型会做出看似有意义的动作，但并不真正理解环境的细节。

第二层，这事连人也躲不开。他拿AWS举例：自己进去了上千次，到现在还是经常找不到某个设置藏在哪个下拉菜单里。人类靠反复试错，把每次成败的经验快速吸收进学习，这套机制本质是强化学习，而现在的智能体缺的正是这个。

第三层，Nathan补了一段行业旧事：OpenAI几年前就试过用强化学习做网页智能体，失败了，因为成功案例太稀少，奖励信号稀薄到没法训练。Div的结论是，强化学习没法从零起步，必须先有一个不用RL就能做到90分的微调模型打底，再往上叠RL，从0%直接上RL太不稳定。他们正在跟DPO算法第一作者、斯坦福的Rafael Rafailov合作，想把学术界攒了20年、从未在工业界跑通的强化学习方法真正用到智能体上。更激进的一步是在线学习，让智能体直接在真实互联网上边干活边训练，前提是选可逆任务，比如信息搜集，或者在按下「下单」前掐断。Div的原话带着克制：「我们可不想把整个互联网搞挂。」他的判断是，一旦智能体能在新网站上自动适应、自我接地，成功率会从现在的90%、95%冲向接近100%。

他还认为当前AI对人类最大的短板是规划能力。让语言模型下棋赢一盘，做不到。今年可能出现的突破，是把蒙特卡洛树搜索、AlphaGo式的规划系统和LLM结合起来。GPT-4能糊弄普通人，糊弄不了专家，一聊专业领域就开始编造。Nathan提了一句传闻中的Q*，Div笑说，等它出来再看。

现在能干什么，还不能干什么

这是普通用户最关心的部分，Div把能力边界说得非常具体。

现在最稳的是单网站、待办清单式的短任务：去亚马逊找5本书加购物车，去DoorDash点餐，去Instacart买齐做意大利面的食材，给某个邮箱发一份保密协议，下午2点约个会并拉上相关人员。一条一条派给智能体就行，这是当前成功率最高的区间。

下一阶段是任务组合：查Google日历上下一个行程，如果是线下会议就自动叫车；去LinkedIn筛目标人选，再用Gmail发冷启动邮件。难点在于把上下文从一个网站搬到另一个网站。再往后是定时任务，比如每天早上自动订一杯咖啡。2024年的路线图被Div概括成四级台阶：单个短任务，单个长任务，任务组合，任务并行。

体验终点的想象是手机端的：对着手机说一句，事情就办了。Div的原话是，想做「Siri一直没做成的那个东西」。认证是个大坎，浏览器插件能蹭用户已登录的会话，手机端没这个便利。他透露已经找到办法，不存密码也能通过认证操作用户的LinkedIn账号，他自己手机上的MultiOn已经能替人发好友申请，很快上线。

API是另一条被低估的线。Nathan现场问了个具体问题：他的公司Waymark做视频生成，上游要从用户提交的网址里抓内容和图片，传统做法是写爬虫加规则，抓回来的图一堆社交图标垃圾。Div的回答是，MultiOn的API既能做信息搜集、按指定格式输出JSON，也能直接在网站上执行操作，定位是「Playwright和自动化脚本的上层抽象」，用一句英文指令替代整套爬虫代码。商业模式上，他们正跟一批合作伙伴跑API收费，消费端计划做免费版加Pro订阅。

工程账本：上下文、速度和钱

这期节目最有含金量的是工程细节。

先说上下文。很多人以为窗口越大越好，Div的观察相反：往上下文里塞太多东西，模型会失焦，逻辑能力明显下降，GPT-4和Claude都这样。没人真正用满GPT-4 Turbo的128k上下文，塞满之后注意力质量就崩了，只能靠近似算法硬撑。所以MultiOn把上下文管理当成当前最大的杠杆，平均每次推理的提示词控制在5000 tokens以内。他们设计了一个类似CPU的架构：模型除了点击和输入，还能执行「存入记忆」「取出记忆」两个动作，自己管理自己的记忆，思路和MemGPT异曲同工。

再说速度。多数团队会闷头冲成功率，MultiOn把「快」放在第一优先级，理由很产品化：智能体的价值主张就是替人干活，如果只跟人打平，没人会用它，至少要快10倍才有存在理由。而且压缩信息和提升性能是正向循环，把信息压到最精，性能也跟着涨。

视觉是个典型例子。GPT-4V的低清截图输入只折算85个tokens，比把臃肿的HTML塞进模型省了一个数量级，信息密度还更高。但Div指出，光看懂截图没用，模型还得从图里定位按钮坐标才能动手，这一步超出当前视觉模型的能力，需要额外的分割和标注环节来补。

然后是钱。Div提到一个行业趋势：很多生产级系统正在悄悄迁离GPT-4，按token计费的成本撑不起一个面向百万用户的消费产品。Cursor、可汗学院这类大客户走OpenAI专属实例加提示词缓存的路线，年费六位数起步。MultiOn的选择是自建缓存，一个月内上线自己的Voyager技能库，让智能体把学会的操作存下来复用，省掉重复计算。

GPT-4的护城河，与安全底线

截至2024年1月，GPT-4在MMLU基准上还领先第二名7到8分。Div用做蛋糕来解释：OpenAI有全世界最好的「厨师」，核心成员训练模型已经5到10年；同时握着大量不公开的高质量数据，自建了完整的人工标注流水线。模型本质上是人类知识的蒸馏，谁能大规模收集人类知识、滤掉噪音，谁就赢，光靠开源数据已经堆不出最强模型。他还转述了Andrej Karpathy在一次黑客松上的说法：OpenAI过去几年所有精力都压在语言模型本身，社区在智能体脚手架上玩出的花样，反而是他们在内部没怎么探索过的新大陆。

MultiOn的架构是混合的：GPT-4负责规划，自家基于开源架构微调的模型负责执行。整套基准测试做成即插即用，换Claude、换新模型，跑一遍分数就知道值不值得换。因为网页一直在变，他们的评测大量依赖真实世界的手动测试，真去叫车、真去点一份汉堡，再加自动化场景跑分。Div的原话是，GPT-4能榨的已经榨得差不多了，接下来要么等更强的模型，要么自己微调。

安全上，Nathan讲了自己的测试。他最近用一款AI电话智能体，第一件事就是让它打给自己，扮演绑匪索要100万美元赎金，AI照做，全程零拦截。他放话，对方不修就公开点名。

对比之下，MultiOn领先一个身位：提示注入攻击还没真正打到头上，检测器和分类器已经建好；每次模型输出动作之后、真正执行之前，有一道验证环节拦截有害操作；后台能按网站动态调整智能体行为，发现恶意用法即时掐断，出了漏洞争取像OpenAI一样一天内打补丁。Div给同行的最低配建议两条：把OpenAI公开的moderation API挂进调用链，成本极低；在提示词里写明别做坏事，模型足够聪明时真能拦住大量恶意请求。

Nathan也补了两刀：他做GPT-4红队时的钓鱼提示词，moderation端点根本没报出来；HackAPrompt创始人Sander Schulhof组织过全球几千人参赛的提示注入大赛，结论是只要够狡猾，模板里写的「禁止作恶」基本都能绕过去。护栏不能只靠提示词，得有独立于模型的验证层。

打字机之后，明天能用什么

聊到就业，Div没有回避替代问题。他的时间表：2024年，智能体是补充，帮人干那些人类不想干、也不擅长的事；对请不起专业助理的人，价值是从0到1；2025年之后，某些场景会开始变成替代。

「技术没到位的时候，我们是在拿人当替代品。」

他用了打字机的类比。打字员这个职业存在，只因为当时没有更好的技术，那是份没人真心想干的苦差。计算机普及后，打字员消失了，就业总量反而增加，只是工作性质变了。现在大量岗位存在的唯一原因，是技术还没到位，只能拿人去填数字杂务的坑。技术补上之后，这些岗位会转型，不会直接消失。计算机时代催生了程序员这种当年没人预料到的职业，智能体时代会催生管理智能体、教智能体、给智能体编程的新工种。

这个话题对他有私人色彩。他在印度长大，人力便宜，请人跑腿是常态，见惯了「人被拿来干机器该干的事」，他觉得这东西天然就该存在。产品里已经有个「教我」模式，用户演示一遍任务就能录成训练数据，人人会用浏览器，几乎零培训成本。隐私上他们划了红线：不拿登录态下的用户私人数据训练模型，参考Gmail智能补全串台的教训和纽约时报诉讼，训练主要靠公开数据加志愿者测试员。

节目结尾他预测，每次技术革命都会把人群推向两极，一派说这是人类之福，一派喊着要炸数据中心，去年OpenAI的董事会风波只是预演，越接近AGI，这种摇摆会越剧烈。

把干货收拢成三条，明天就能上手：

• 想亲手试网页智能体，去推特找@DivGarg9，用他推文里那条「读我最近10条推文、搜三个新闻源、发5条推文」的提示词申请内测，他主页上有大量别人的实测案例可以参考。
• 已经在用MultiOn或同类产品的，把任务拆成单网站的待办清单，一条一个动作，成功率远高于一段话甩过去一个复杂流程。
• 自己搭AI应用的开发者，今天就把moderation API加进调用链，再在执行动作前加一道独立验证。Nathan那句提醒值得贴在工位上：行业不自我约束，就会被外部监管。

Div在最后说，接下来一个月MultiOn有大动作，移动端和那套免密码认证即将上线。智能体替人上网干活这件事，2024年大概率会从演示视频变成日常工具。