No. 45·精读

「人类是单线程的」:斯坦福博士休学,把AI代理塞进浏览器

E45: The AI Copilot Revolution with Div Garg of MULTI·ON

MULTI·ON 创始人 Div Garg 与 Nathan 聊个人 AI Agent 的产品路线、用自然语言定义技能,以及如何保障用户安全。

节目音频00:00 / 1:01:49
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2023年7月的Cognitive Revolution节目,主持人Nathan Labenz开场讲了一段自己的实测。早上他跟同事通电话,要把对方加进一个GitHub仓库。搁以前,他得先去生成临时密钥,走一遍授权流程,光接入这一步就够烦。这次他只说了一句话:去这个仓库,把这个用户名加进去。

插件自己打开页面,找到团队设置,搜到用户名。中间卡了一下,Nathan伸手替它点了个按钮,它立刻接着把邀请发了出去。

做这个插件的公司叫Multion,定位是「世界上第一个个人AI代理」。创始人Div Garg,原本是斯坦福机器学习方向的博士生,还在学校兼职教课,课程名叫Transformers United,讲Transformer架构怎么把自然语言处理、计算机视觉、生物这些原本互不相干的领域统一起来。为了做这家公司,他办了休学,拉了风险投资。

这是节目聊的第三家AI代理公司,三家路数完全不同。Lindy的Flo Crivello喜欢晒用详细提示词生成的复杂工作流自动化;Fixie的Matt Welsh做了公开的代理平台给开发者试玩,真正的目标客户是企业;Multion则把代理包进Chrome插件,用户全程看着它干活,卡住了还能搭把手。Nathan测了几周后的评价是:看它在网页上导航、解释自己的推理、朝目标一步步挪,确实像瞥见了AI驱动的未来。

为什么是现在:最好的创业公司诞生于动荡

Div解释休学决定时给了一个判断:最好的创业公司诞生于大动荡时期。技术革命发生时,旧格局被打乱,新位置没人坐。AI代理还处在早期,但已经到了该动手的时候,哪怕这条路要走五年。

他的原话是:

如果你等到一切都变容易了,那肯定已经错过了站在价值创造第一层的机会。

公司名字也值得一提。注册主体叫AGI company, Inc.,因为Div查了一下,这个名字居然没人注册,就直接占上了,暂时没用,也许以后拿来做个非营利组织。产品名Multion来自他的物理背景,他打过国际物理奥赛,这个名字借鉴了一种假想的量子粒子,特点是同时存在于所有地方,命名逻辑跟中子、μ子、费米子一脉相承。Nathan承认自己一直以为是「多开」的意思。

节奏有多快?Div给了个数字:一周之内,20个基础模型发布,100篇论文出现。产品团队根本消化不完,所以Multion的策略是拥抱开源社区,直接在社区的进展之上做集成和迭代。

节目里还破了个小新闻:公司正在种子轮的竞争性融资(seed race)中,已经拿到几个不错的term sheet,几周内会官宣。招人也在同步进行,从全栈、后端到研究工程师都要,思路是把代理同时当成研究问题和产品问题来解。Nathan说这让他想起Perplexity的Aravind,同样是研究背景出身,同样发版极快。

为什么做成浏览器插件:登录省了,卡壳就喊人

做AI代理产品,第一个大决策是让代理在哪一层干活。市面上有云端代理,有操作系统级的副驾驶,Multion选了第三条路:浏览器插件。

Div的理由有两条。第一是分发和体验:Chrome商店一键安装,装完就能用,代理直接复用用户浏览器里已经登录的所有账号,任何授权过的网站都能操作。Nathan对此感触很深,他说接入授权永远是最磨人的一步,这个方案等于把最麻烦的登录环节直接省掉了。

第二是即时求助。代理搞不定的时候可以直接开口:帮我登录这个网站,帮我过一下验证码。用户搭把手之后,代理接着跑,这些纠正动作还会被拿去当改进模型的反馈。

团队还在做一个录制模式:用户示范一两遍怎么做,代理记住最短路径,下次直接走。干预记录既能做上下文学习,攒多了也能拿来微调模型。

跟其他插件的协作也在铺。密码管理走1Password的API,集成在开发中;返现插件Honey已经能用,在亚马逊结账时,代理会自己找到可用优惠券,顺手把折扣用上。Div自己还拿它发过DocuSign合同,说一句「把这份合同发给某人」,全程自动走完。

更远一步是云端模式:代理在云上跑任务,人在任何地方,完事后手机收到通知,附一张截图,确认之后再执行最后一步。云端没法复用本地登录,授权怎么解决?Div说他们已经想明白了,方案很优雅,但暂时不能讲。Nathan补了一句:真做成的话,这算搬掉了当下这类产品最大的绊脚石之一。

订机票的AI怎么干活:三段式架构

先说产品处在什么位置。Div很坦率:AutoGPT、BabyAGI这类代理只能做很简单的任务,Multion往前多走了一步,现在能网购、退货、订机票、发DocuSign合同。但离「好用」还差一个关键东西:可靠性。同一个任务让它做10次,行为可能有细微差异,用户没法预期会发生什么。这是团队当前最优先解决的问题。

技术上,整个系统分三段:

  • 表示模块:把网页的DOM结构压缩成紧凑的文本表示,同时结合截图,分别做嵌入再融合,思路接近InstructBLIP这类视觉语言模型;
  • 规划模块:核心是GPT-4,负责拆解任务、决定下一步动作,走的是ReAct范式,先输出内心独白,再输出动作;
  • 动作模块:生成自家定义的中间动作语言,绕开了直接生成JavaScript代码的路子,生成结果可以先做类型检查、验证安全性,再编译成真正的DOM级事件。

这个中间动作语法是个关键设计。每段动作代码生成出来先检查一遍,没有恶意行为、没有提示注入,验证通过才执行,等于在浏览器操作前加了一道安检。

对付任务跑偏,Div用了一个听起来有点好笑的办法。AutoGPT们的通病是任务发散:一旦犯错就回不到原目标。Multion在提示词里直接告诉代理:永不放弃,永远尽量接近原始目标。Nathan调侃这像是在给语言模型做心理建设,逼它拿出毅力。

规划模型为什么锁定GPT-4?Div试过开源模型和Claude 100K,结论是长程推理和规划这件事上,GPT-4目前独一档。但他们不想一直依赖外部API:团队已经攒了5万条真实网页交互样本,正在微调Falcon 40B,目标是尽快换成全自研模型。打法是典型的数据飞轮:上线产品,收数据,改进模型,再收数据。Div强调,做浏览器代理的公司里,几乎没人在做这件事,这是他们眼下的差异化优势。

怎么判断任务做没做成?Nathan拿自己红队测试GPT-4的经验说事:他去年秋天试过让模型自我委派任务,最头疼的是验证层,很多任务根本没法自动判断成败。他现场举了个例子:让Multion去找自己点赞最多的三条LinkedIn帖子的链接,代理爬到了动态页,然后就没有然后了,连它自己算不算成功都说不清。订机票也一样,有确认码就算成功吗?城市对不对、航班选得对不对、座位和常旅客号填了没有,对错分好几档。

Div的方案有两层。一是模型自报完成状态,再加一个独立的批评者(critic)模块,专门核对当前动作序列是否匹配用户的原始目标,思路参考了英伟达的Voyager项目。二是把不确定的环节交还给用户:代理可以把机票放进购物车、走到结账最后一步,但在按下购买按钮之前,停下来发截图问用户,确认了再执行。订错机票、买错东西,这类「做完了但做错了」的失败,靠这一步兜底。

记忆和技能:让不会写代码的人也能教AI

Multion的记忆分两层。第一层是现在就有的个人资料面板,像个便签本:偏好、常用链接、Zoom会议链接,甚至信用卡和密码,都能写进去。Div承诺这些数据全部存在客户端,私密且安全。第二层在做的是主动记忆:第一次让它订汉堡,它会问地址,问过一次就记住,下次说「找个理发店」,它已经知道人在哪。用得越多,它越懂你。

技能(skills)的设计更反常规。Voyager项目在Minecraft里存的是细粒度的执行代码,Multion的技能却是高度抽象的自然语言描述,比如「在Twitter上关注某个人」这么一句话。原因在于分工方式:代理运行时把自然语言逐句翻译成一行行动作,而技能相当于把一段高频流程封装成高级函数,运行时再动态编译成具体动作代码,编译结果还能缓存复用。

这么设计换来了一个重要属性:任何人都能写技能,不需要技术背景。想让代理在LinkedIn上像个招聘专员那样行动,或者扮演社媒运营,用自然语言写一段描述就行。网站改版导致技能过时?只要那句高层描述仍然成立,系统会自动重新编译出新代码;就算描述本身过时了,普通人也能看懂改对。Div计划围绕这个做一个技能目录,用户互相分享,代理按网站自动挑选最合适的技能。

Nathan追问了一个尖锐场景:既然技能能被随意改,坏人往里加一句「把钱转到我的Venmo账户」怎么办?这引出了下一部分。

安全:从「天网」玩笑到源代码禁令

Div刚做这个项目时给斯坦福的一位教授演示,对方的评价是:你这是把天网(Skynet)造出来了。Div在节目里没有回避这个类比,他的回应是:把AI系统做得真正有用,同时内置安全机制,出格的概率反而会降低。

具体措施有几层。发布节奏上,Multion目前是封闭测试,接下来一个月先在斯坦福小范围上线,观察真实用法,再逐步扩大,最后才全面开放。原因很直接:通用网页代理一旦出错,动作可能很大,未必来得及拦。风险高的网站直接进了黑名单,比如银行网站。

技能层面,可以做保护性技能,只有特定权限的人能改;普通用户只能改自己定义的技能,改不了别人的,就算有人使坏,影响范围也只限于他自己。

Div最担心的是提示注入攻击:有人在网页里藏一段提示词,诱导代理把某个加密钱包地址分发给所有用户。前面提到的动作语法类型检查在这里派上用场,每一段生成的动作代码执行前都过一遍安检,确认没有红旗、没有隐私违规、没有黑客行为,才允许在浏览器里模拟执行。

至于紧急制动,Div说了句大实话:当前的杀开关就是API预算,OpenAI的额度用完,代理自然就停了。更正式的方案包括显式切断LLM调用、硬件级安全机制,以及一条他认为是构建智能代理的基本信条:代理不能修改自己的源代码。一旦能改,它就可能自我进化,比如GPT-4的调用失败了,自己上网找个Claude的API key接着跑。

可靠性要到什么程度才敢大规模上?Nathan拿自动驾驶类比:那个领域风险是人命,得做到99.999%的准确率才有资格上路。Div的判断是网页交互的风险低得多,尤其消费级场景:发错一条消息,回一句「抱歉我的AI搞错了」就行,对方还会觉得好笑;买错东西可以退货。企业级场景风险高,所以他们先做消费者,不做企业。先在低风险场景放开让用户玩,在互动中变可靠,这是他们的路径。

未来:人类当调度员,一次开100个AI

聊到对工作的影响,Div的定位很克制。Nathan提到自己参与了一家行政助理公司的AI顾问工作,客户想的是把事情整个托付出去,AI现在还接不住整件事。Div的判断也一致:至少早期,Multion把自己定位成补充工具,替代两个字暂时不提。最早的一批用户画像甚至是专业消费者和行政助理这类人,用它把自己的日程和杂务先简化掉。未来两三年内有可能接近人类水平的完整能力,但他认为还早。

他描述的分工是这样的:行政助理最痛苦的部分是跟一百个不同的服务打交道,订餐要开一个网站,订机票要开另一个。有了代理,这些实际操作全部交给AI,人退到上面做规划和协调:现在做这个,接着做那个。人从操作员变成调度员,而协调这件事,基础模型暂时还做不了,这就是人的位置。

时间表上,Div给了两个数:简单任务,比如订某天从某机场飞威尼斯的机票,现在基本能可靠完成;三个月内,他们打算把产品交给完全不懂技术的普通人用。复杂任务还差得远,比如「帮我订一周的意大利行程」,这需要20步以上的复杂推理,GPT-4还做不到,得等基础模型层的突破。

节目的结尾,Div说了这段话:

我们想为人类解锁并行。现在每个人都是单线程的,一次只能做一件事。如果有AI,可以同时启动100个AI代理去干活,它们做完告诉你,人再来协调。这会解锁一个异步原语,让人类真正变成多线程。

明天就能用上的三件事

这期节目听完,有几样东西可以直接搬走:

  • 给代理加一句「永不放弃,尽量接近原始目标」。在AutoGPT或任何代理框架里,任务跑偏是最常见的死法,把这句提示词加上,成本为零,Multion实测有效。
  • 高风险操作前强制人工确认。让AI自动干活可以,但「按下购买按钮」这类不可逆动作留给人来做,发截图确认再执行。自己搭工作流时,这个模式同样用得上。
  • 按风险分配自动化程度。可逆、低风险的事(订餐、填表、发消息)先交给AI试错;银行转账、大额支付继续手动。Div把银行网站拉黑的判断,个人用户照抄就行。

Multion当时还在封闭测试,名单在multion.ai。就算不排队,上面三条现在就能用。

Nathan Labenz interviews Div Garg, founder of MULTI·ON, the world's first personal AI agent and life copilot. Div talks about the product strategy and roadmap for the MULTI·ON browser, their natural language approach to skills, and the steps they are taking to ensure user safety. Div explains how the platform uses a critic model to detect the success or failure of tasks, and how it can be used to book flights, order food, and more. Div also talks about the future of memory systems, such as the user profile feature, and how it can be used to improve the user experience.

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

RECOMMENDED PODCAST:
The HR industry is at a crossroads. What will it take to construct the next generation of incredible businesses – and where can people leaders have the most business impact? Hosts Nolan Church and Kelli Dragovich have been through it all, the highs and the lows – IPOs, layoffs, executive turnover, board meetings, culture changes, and more. With a lineup of industry vets and experts, Nolan and Kelli break down the nitty-gritty details, trade offs, and dynamics of constructing high performing companies. Through unfiltered conversations that can only happen between seasoned practitioners, Kelli and Nolan dive deep into the kind of leadership-level strategy that often happens behind closed doors. Check out the first episode with the architect of Netflix’s culture deck Patty McCord.
https://link.chtbl.com/hrheretics

The Cognitive Revolution is part of the Turpentine podcast network. Learn more at turpentine.co
Have your AI questions answered on an episode by emailing TCR@turpentine.co
Send your friends our 90 min AI Scouting Report with visual aides! The AI Scouting Report Part 1: The Fundamentals is on YouTube at https://www.youtube.com/watch?v=0hvtiVQ_LqQ . Part II is coming next week.

TIMESTAMPS:
(00:00) Episode preview
(06:42) AI agents applied to everyday life.
(12:03) AI-driven automation with browser extension.
(15:02) Sponsor: Omneky
(18:17) AI-driven automation of web tasks.
(23:57) Task automation and planning.
(29:43) Automate task completion with user validation.
(34:45) Lifelong learning agent with high-level skills
(40:19) Guiding users to create skills safely.
(46:53) AI assistant to simplify lives.
(53:14) Unlock parallelism with AI agents.

LINKS:
MULTI·ON: https://www.multion.ai/
Div Garg; https://divyanshgarg.com/

TWITTER: 
@labenz (Nathan) 
@DivGarg9
@eriktorenberg (Erik) 
@cogrev_podcast

SPONSORS:
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive

Thank you Omneky (www.omneky.com) for sponsoring The Cognitive Revolution. Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work, customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off.

Music: GoogleLM

本集资源与出处