# 「人类是单线程的」：斯坦福博士休学，把AI代理塞进浏览器 > Cognitive Revolution No. 45 中文精读 - 原标题：E45: The AI Copilot Revolution with Div Garg of MULTI·ON - 发布日期：2023-07-13 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/045-e45-the-ai-copilot-revolution-with-div-garg-of-multion-PR2Mdl.html - 精读字数：约 5114 字（阅读约 11 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2023年7月的Cognitive Revolution节目，主持人Nathan Labenz开场讲了一段自己的实测。早上他跟同事通电话，要把对方加进一个GitHub仓库。搁以前，他得先去生成临时密钥，走一遍授权流程，光接入这一步就够烦。这次他只说了一句话：去这个仓库，把这个用户名加进去。 插件自己打开页面，找到团队设置，搜到用户名。中间卡了一下，Nathan伸手替它点了个按钮，它立刻接着把邀请发了出去。 做这个插件的公司叫Multion，定位是「世界上第一个个人AI代理」。创始人Div Garg，原本是斯坦福机器学习方向的博士生，还在学校兼职教课，课程名叫Transformers United，讲Transformer架构怎么把自然语言处理、计算机视觉、生物这些原本互不相干的领域统一起来。为了做这家公司，他办了休学，拉了风险投资。 这是节目聊的第三家AI代理公司，三家路数完全不同。Lindy的Flo Crivello喜欢晒用详细提示词生成的复杂工作流自动化；Fixie的Matt Welsh做了公开的代理平台给开发者试玩，真正的目标客户是企业；Multion则把代理包进Chrome插件，用户全程看着它干活，卡住了还能搭把手。Nathan测了几周后的评价是：看它在网页上导航、解释自己的推理、朝目标一步步挪，确实像瞥见了AI驱动的未来。 ## 为什么是现在：最好的创业公司诞生于动荡 Div解释休学决定时给了一个判断：**最好的创业公司诞生于大动荡时期**。技术革命发生时，旧格局被打乱，新位置没人坐。AI代理还处在早期，但已经到了该动手的时候，哪怕这条路要走五年。 他的原话是： > 如果你等到一切都变容易了，那肯定已经错过了站在价值创造第一层的机会。 公司名字也值得一提。注册主体叫AGI company, Inc.，因为Div查了一下，这个名字居然没人注册，就直接占上了，暂时没用，也许以后拿来做个非营利组织。产品名Multion来自他的物理背景，他打过国际物理奥赛，这个名字借鉴了一种假想的量子粒子，特点是同时存在于所有地方，命名逻辑跟中子、μ子、费米子一脉相承。Nathan承认自己一直以为是「多开」的意思。 节奏有多快？Div给了个数字：**一周之内，20个基础模型发布，100篇论文出现**。产品团队根本消化不完，所以Multion的策略是拥抱开源社区，直接在社区的进展之上做集成和迭代。 节目里还破了个小新闻：公司正在种子轮的竞争性融资（seed race）中，已经拿到几个不错的term sheet，几周内会官宣。招人也在同步进行，从全栈、后端到研究工程师都要，思路是把代理同时当成研究问题和产品问题来解。Nathan说这让他想起Perplexity的Aravind，同样是研究背景出身，同样发版极快。 ## 为什么做成浏览器插件：登录省了，卡壳就喊人 做AI代理产品，第一个大决策是让代理在哪一层干活。市面上有云端代理，有操作系统级的副驾驶，Multion选了第三条路：浏览器插件。 Div的理由有两条。第一是分发和体验：Chrome商店一键安装，装完就能用，**代理直接复用用户浏览器里已经登录的所有账号**，任何授权过的网站都能操作。Nathan对此感触很深，他说接入授权永远是最磨人的一步，这个方案等于把最麻烦的登录环节直接省掉了。 第二是即时求助。代理搞不定的时候可以直接开口：帮我登录这个网站，帮我过一下验证码。用户搭把手之后，代理接着跑，这些纠正动作还会被拿去当改进模型的反馈。 团队还在做一个录制模式：用户示范一两遍怎么做，代理记住最短路径，下次直接走。干预记录既能做上下文学习，攒多了也能拿来微调模型。 跟其他插件的协作也在铺。密码管理走1Password的API，集成在开发中；返现插件Honey已经能用，在亚马逊结账时，代理会自己找到可用优惠券，顺手把折扣用上。Div自己还拿它发过DocuSign合同，说一句「把这份合同发给某人」，全程自动走完。 更远一步是云端模式：代理在云上跑任务，人在任何地方，完事后手机收到通知，附一张截图，确认之后再执行最后一步。云端没法复用本地登录，授权怎么解决？Div说他们已经想明白了，方案很优雅，但暂时不能讲。Nathan补了一句：真做成的话，这算搬掉了当下这类产品最大的绊脚石之一。 ## 订机票的AI怎么干活：三段式架构 先说产品处在什么位置。Div很坦率：AutoGPT、BabyAGI这类代理只能做很简单的任务，Multion往前多走了一步，现在能网购、退货、订机票、发DocuSign合同。但离「好用」还差一个关键东西：**可靠性**。同一个任务让它做10次，行为可能有细微差异，用户没法预期会发生什么。这是团队当前最优先解决的问题。 技术上，整个系统分三段： - 表示模块：把网页的DOM结构压缩成紧凑的文本表示，同时结合截图，分别做嵌入再融合，思路接近InstructBLIP这类视觉语言模型； - 规划模块：核心是GPT-4，负责拆解任务、决定下一步动作，走的是ReAct范式，先输出内心独白，再输出动作； - 动作模块：生成自家定义的中间动作语言，绕开了直接生成JavaScript代码的路子，生成结果可以先做类型检查、验证安全性，再编译成真正的DOM级事件。 这个中间动作语法是个关键设计。每段动作代码生成出来先检查一遍，没有恶意行为、没有提示注入，验证通过才执行，等于在浏览器操作前加了一道安检。 对付任务跑偏，Div用了一个听起来有点好笑的办法。AutoGPT们的通病是任务发散：一旦犯错就回不到原目标。Multion在提示词里直接告诉代理：**永不放弃，永远尽量接近原始目标**。Nathan调侃这像是在给语言模型做心理建设，逼它拿出毅力。 规划模型为什么锁定GPT-4？Div试过开源模型和Claude 100K，结论是长程推理和规划这件事上，GPT-4目前独一档。但他们不想一直依赖外部API：团队已经攒了**5万条真实网页交互样本**，正在微调Falcon 40B，目标是尽快换成全自研模型。打法是典型的数据飞轮：上线产品，收数据，改进模型，再收数据。Div强调，做浏览器代理的公司里，几乎没人在做这件事，这是他们眼下的差异化优势。 怎么判断任务做没做成？Nathan拿自己红队测试GPT-4的经验说事：他去年秋天试过让模型自我委派任务，最头疼的是验证层，很多任务根本没法自动判断成败。他现场举了个例子：让Multion去找自己点赞最多的三条LinkedIn帖子的链接，代理爬到了动态页，然后就没有然后了，连它自己算不算成功都说不清。订机票也一样，有确认码就算成功吗？城市对不对、航班选得对不对、座位和常旅客号填了没有，对错分好几档。 Div的方案有两层。一是模型自报完成状态，再加一个独立的批评者（critic）模块，专门核对当前动作序列是否匹配用户的原始目标，思路参考了英伟达的Voyager项目。二是把不确定的环节交还给用户：**代理可以把机票放进购物车、走到结账最后一步，但在按下购买按钮之前，停下来发截图问用户，确认了再执行**。订错机票、买错东西，这类「做完了但做错了」的失败，靠这一步兜底。 ## 记忆和技能：让不会写代码的人也能教AI Multion的记忆分两层。第一层是现在就有的个人资料面板，像个便签本：偏好、常用链接、Zoom会议链接，甚至信用卡和密码，都能写进去。Div承诺这些数据全部存在客户端，私密且安全。第二层在做的是主动记忆：第一次让它订汉堡，它会问地址，问过一次就记住，下次说「找个理发店」，它已经知道人在哪。用得越多，它越懂你。 技能（skills）的设计更反常规。Voyager项目在Minecraft里存的是细粒度的执行代码，Multion的技能却是高度抽象的自然语言描述，比如「在Twitter上关注某个人」这么一句话。原因在于分工方式：代理运行时把自然语言逐句翻译成一行行动作，而技能相当于把一段高频流程封装成高级函数，运行时再动态编译成具体动作代码，编译结果还能缓存复用。 这么设计换来了一个重要属性：**任何人都能写技能，不需要技术背景**。想让代理在LinkedIn上像个招聘专员那样行动，或者扮演社媒运营，用自然语言写一段描述就行。网站改版导致技能过时？只要那句高层描述仍然成立，系统会自动重新编译出新代码；就算描述本身过时了，普通人也能看懂改对。Div计划围绕这个做一个技能目录，用户互相分享，代理按网站自动挑选最合适的技能。 Nathan追问了一个尖锐场景：既然技能能被随意改，坏人往里加一句「把钱转到我的Venmo账户」怎么办？这引出了下一部分。 ## 安全：从「天网」玩笑到源代码禁令 Div刚做这个项目时给斯坦福的一位教授演示，对方的评价是：你这是把天网（Skynet）造出来了。Div在节目里没有回避这个类比，他的回应是：**把AI系统做得真正有用，同时内置安全机制，出格的概率反而会降低**。 具体措施有几层。发布节奏上，Multion目前是封闭测试，接下来一个月先在斯坦福小范围上线，观察真实用法，再逐步扩大，最后才全面开放。原因很直接：通用网页代理一旦出错，动作可能很大，未必来得及拦。风险高的网站直接进了黑名单，比如银行网站。 技能层面，可以做保护性技能，只有特定权限的人能改；普通用户只能改自己定义的技能，改不了别人的，就算有人使坏，影响范围也只限于他自己。 Div最担心的是提示注入攻击：有人在网页里藏一段提示词，诱导代理把某个加密钱包地址分发给所有用户。前面提到的动作语法类型检查在这里派上用场，每一段生成的动作代码执行前都过一遍安检，确认没有红旗、没有隐私违规、没有黑客行为，才允许在浏览器里模拟执行。 至于紧急制动，Div说了句大实话：**当前的杀开关就是API预算，OpenAI的额度用完，代理自然就停了**。更正式的方案包括显式切断LLM调用、硬件级安全机制，以及一条他认为是构建智能代理的基本信条：代理不能修改自己的源代码。一旦能改，它就可能自我进化，比如GPT-4的调用失败了，自己上网找个Claude的API key接着跑。 可靠性要到什么程度才敢大规模上？Nathan拿自动驾驶类比：那个领域风险是人命，得做到99.999%的准确率才有资格上路。Div的判断是网页交互的风险低得多，尤其消费级场景：发错一条消息，回一句「抱歉我的AI搞错了」就行，对方还会觉得好笑；买错东西可以退货。企业级场景风险高，所以他们先做消费者，不做企业。**先在低风险场景放开让用户玩，在互动中变可靠**，这是他们的路径。 ## 未来：人类当调度员，一次开100个AI 聊到对工作的影响，Div的定位很克制。Nathan提到自己参与了一家行政助理公司的AI顾问工作，客户想的是把事情整个托付出去，AI现在还接不住整件事。Div的判断也一致：至少早期，Multion把自己定位成补充工具，替代两个字暂时不提。最早的一批用户画像甚至是专业消费者和行政助理这类人，用它把自己的日程和杂务先简化掉。未来两三年内有可能接近人类水平的完整能力，但他认为还早。 他描述的分工是这样的：行政助理最痛苦的部分是跟一百个不同的服务打交道，订餐要开一个网站，订机票要开另一个。有了代理，这些实际操作全部交给AI，人退到上面做规划和协调：现在做这个，接着做那个。**人从操作员变成调度员**，而协调这件事，基础模型暂时还做不了，这就是人的位置。 时间表上，Div给了两个数：简单任务，比如订某天从某机场飞威尼斯的机票，现在基本能可靠完成；**三个月内，他们打算把产品交给完全不懂技术的普通人用**。复杂任务还差得远，比如「帮我订一周的意大利行程」，这需要20步以上的复杂推理，GPT-4还做不到，得等基础模型层的突破。 节目的结尾，Div说了这段话： > 我们想为人类解锁并行。现在每个人都是单线程的，一次只能做一件事。如果有AI，可以同时启动100个AI代理去干活，它们做完告诉你，人再来协调。这会解锁一个异步原语，让人类真正变成多线程。 ## 明天就能用上的三件事 这期节目听完，有几样东西可以直接搬走： - **给代理加一句「永不放弃，尽量接近原始目标」**。在AutoGPT或任何代理框架里，任务跑偏是最常见的死法，把这句提示词加上，成本为零，Multion实测有效。 - **高风险操作前强制人工确认**。让AI自动干活可以，但「按下购买按钮」这类不可逆动作留给人来做，发截图确认再执行。自己搭工作流时，这个模式同样用得上。 - **按风险分配自动化程度**。可逆、低风险的事（订餐、填表、发消息）先交给AI试错；银行转账、大额支付继续手动。Div把银行网站拉黑的判断，个人用户照抄就行。 Multion当时还在封闭测试，名单在multion.ai。就算不排队，上面三条现在就能用。