# 一年6篇论文，谷歌DeepMind说机器人走到了GPT-3时刻 > Cognitive Revolution No. 126 中文精读 - 原标题：Robotics Research Update, with Keerthana Gopalakrishnan and Ted Xiao of Google DeepMind - 发布日期：2024-04-22 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/126-robotics-research-update-with-keerthana-gopalakrishnan-and-t-oH2vjG.html - 精读字数：约 5024 字（阅读约 11 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 先看一组数字。Google DeepMind机器人研究员Ted Xiao给过去一年的变化下了一句总结：**以前系统里每个组件只有20%到30%的成功率，现在普遍能做到60%到70%**。机器人是很多零件咬合在一起的复杂系统，以前每个环节都只有三成把握，凑出一套能大规模跑的东西要迭代无数次。现在每个环节的成功率都翻了一倍多，整个研究管线肉眼可见地提速。 这是他在播客Cognitive Revolution上说的。主持人Nathan Labenz这期请来两位嘉宾，Keerthana Gopalakrishnan和Ted Xiao，都来自Google DeepMind机器人团队。一年前Keerthana上过同一档节目，当时她给机器人领域的定位是介于GPT-2和GPT-3之间，最大瓶颈是缺数据。一年过去，这个团队连发了6篇论文：RT-2、RT-X、RT Trajectory、AutoRT、Learning to Learn Faster、PIVOT。 Ted的判断是，机器人领域现在大概到了GPT-3那个阶段。离可靠、通用还有几个关键突破没补上，但路线已经清晰了很多。Keerthana补了一句实话：研究没法按计划走，只能对一堆方向做广度优先搜索，哪个方向冒出信号就加倍下注。拉长看，目标一直清楚：搞更多数据，提高策略的数据效率，做自我改进，以及更好地利用基础模型里的世界知识。 ## RT-2：把互联网知识装进机械臂 先补个背景。前作RT-1的数据是13万次人类遥操作演示，机器人在谷歌办公室茶水间里收拾东西，但只覆盖了大约17种物体，薯片袋、易拉罐、水瓶这个量级。13万次演示换17种物体的操作能力，机器人数据的贵，就贵在这里。 RT-2换了条路。它的底座是视觉语言模型（VLM），也就是读过海量互联网图文的模型。训练时用了一个叫联合微调（co-fine-tuning）的做法：每个训练批次里，既混互联网图文对，也混机器人动作数据。Keerthana解释，这样能防住灾难性遗忘，模型学了动作，互联网上学来的概念不至于丢掉。 效果很直观。对机器人说“把可乐罐移到1加2的和的位置”，它真能挪过去。算术是互联网知识，移动机械臂是机器人数据，两边缝在了一起。Nathan举的另一个例子是，两袋薯片摆在一起，跟机器人说“拿辣的那袋”，它真能拿对，因为哪个颜色对应辣味，这种常识互联网图文里就有。Ted的总结是，**感知和控制的边界开始模糊**。以前的机器人是流水线架构，先解决感知，再解决控制，两个模块分开调。RT-2把整个问题变成一道视觉问答题：看到什么图，接什么指令，直接输出动作。 动作怎么输出？当成语言token。RT-1的动作表示是transformer内部自定义的，RT-2把动作改写成类似语言的形式，同一个模型既能回答图片问题，也能指挥机械臂。 但限制也很明确。Keerthana说得很坦白：**RT-2能把已有动作迁移到互联网概念上，却生成不了新动作**。怎么抓不同材质的物体、手臂怎么绕障碍，这些物理知识网上没有，模型自然学不到。动作层面的泛化，还是得靠机器人自己的数据。 ## RT-X：一个模型管住20多种机器人 RT-X是个苦活，也是场外交大工程。谷歌拉上全美二十多家实验室，把各家机器人的数据汇成一个超过100万条轨迹的大数据集，覆盖20多种机器人本体，训练出一个通用模型，再把模型还给各家。结果超出所有人预期：**这个通用模型在几乎所有机器人上，都跑赢了各实验室为自己机器人专门调出来的模型**。 Ted说这个结果连他自己都震惊。过去多年的经验是，单任务方法扩成多任务，能换来更快的学习和更强的鲁棒性，但峰值性能往往得靠过拟合的专家模型去榨。这次出现了正迁移，通用的反而比专精的强。 Keerthana给了一个认知层面的转变：以前大家觉得各家机器人差异巨大，数据没法通用，RT-X之后行业的共识变成了，**机器人之间的差异，大概就是英语和中文的区别，概念相通，只是表达方式不同**。 数据里的机器人形态五花八门。项目一开始就设了限制条件，只收单臂机械臂、两指夹爪、单个相机视角的数据，即便这样，收上来的东西依然跨度极大：有小到拿婴儿玩具做任务的WidowX，有大块头的工业机械臂，有谷歌自己的移动操作平台，还有Berkeley那种专门走线缆的灵巧机器人。限制条件已经这么苛刻，形态差异还是压不住。 项目里还有个细节。模型没有被标记“你现在控制的是哪台机器人”，它得纯靠看图，自己推断当前在操作什么设备。Ted管这叫隐式系统辨识。代价是没法零样本迁移到完全没见过的机器人，这留给后续工作。 更深远的影响在数据集。RT-X把数据集和数据管线开源，等于给行业立了统一基准。以前各实验室的结果没法互相比较，因为没有对方的机器人和数据。Berkeley的Octo等项目直接在这个基础上开工，默认就在跨机器人、跨本体的设定下做研究。Ted强调，RT-X只是起跑线，真正的产出是整个社区开始默认跨本体研究这件事。 ## 画一条线、撒一堆数字，机器人就懂了 RT Trajectory解决一个很实际的痛点：语言指令太粗。机器人抓可乐罐失败，人类只能换措辞重试，“拿起可乐罐”改成“举起可乐罐”，但说不出“你低了2厘米，从左边再靠近一点”。语言接口没有这种粒度。 方案是让人画一条2D轨迹线，机器人照着走。线还带颜色渐变，把三维位置信息编码进去。训练数据的造法很聪明：回到已有的成功演示，把机器人实际走过的轨迹画成线，配回数据里。不用重新采集，就多出一种提示方式。 效果是，同样的初始条件，只改画的线，机器人表现出质上不同的行为。Ted说他们把机器人推到从没去过的楼里，画几条线试几个任务，居然就能干活。 Keerthana还提了一个视角：人类日常跟世界打交道的接触类型，其实也就二十种左右，去拿、去开、去按。如果把这类“接触交互”扩成一个词汇表，配合轨迹线，也许能覆盖数据集里根本没有的动作，比如拧水龙头。传统机器人研究里的搜索和规划，跟端到端学习，在这篇论文里找到了接驳点。 PIVOT走得更极端，完全零样本。在图片上撒一堆带箭头的编号，问现成的视觉语言模型：要完成任务，机械臂该朝哪个编号移动？模型选一个，下一轮把编号聚拢在上次选择的周围再撒一遍，迭代几轮就收敛到目标位置。没有任何微调。 社区原本的共识是，密集接触、左右上下这类空间物理概念，维基百科和Reddit里没有，必须靠硬核机器人数据喂出来。PIVOT给出了另一个答案：**互联网预训练的VLM里已经藏着相当一部分物理智能，只是之前没人找到合适的提取方式**。Ted补了一句，性能离RT-2还差得远，离开箱即用也远，但它确实显示出了生命迹象。Keerthana看中的是另一个点：叠T恤这类任务，用语言描述怎么叠非常费劲，用图示就直观得多，**多模态的任务指定，天然适合高灵巧度任务**。 ## 50台机器人上街，靠一部宪法看着 AutoRT是6篇里最有科幻感的一篇。前提假设是：RT-1级别的技术已经够用，那能不能把数据收集铺开？团队部署了50台机器人，同时运行约20台，扔进真实环境，不再用人工布置的教室场景。 问题跟着来。机器人多了，遥操作员不可能同比例增加。人的监督是稀缺资源，得省着用：留给机器人策略搞不定的任务和出错的时候，其余交给大模型。Keerthana的说法是： > 如果没人盯着机器人，那就让规则盯着机器人。 LLM和VLM已经能理解没见过的场景，也能对规则做推理，所以让它们做第一道伦理和安全检查。这套规则就是机器人宪法，灵感直接来自阿西莫夫三定律，结构分三层：不可违背的基础法则，本体特定的规则，比如单臂机器人只能接单臂能完成的任务，再加环境特定的规则。 实际跑起来什么样？规则说不要接触有害物品，机器人看到烟头，拒绝去捡，理由是烟有害健康。规则是死的，解释是活的。这个问题阿西莫夫在小说里写了八十年，现在成了工程问题。 安全这块，Keerthana的态度很清醒。有人拿ChatGPT的系统提示词类比，几千token的规则照样被越狱。她的回应分两层。第一，**光靠提示词，写得再复杂也保证不了安全**，AutoRT实验里机器人始终受传统机器人工程约束，速度限制、力限制、碰撞规避都在，人类保持目视可见，大约一个人盯5台。第二，机器人现在的风险和科幻片相反，问题在于它们太笨，做不好零样本任务，还没聪明到会钻规则空子。 她还点出一个本质区别：ChatGPT有10%的时候不好使，大家能忍；机器人砸了家里的东西、撞了人，没人能忍。**机器人领域安全是刚需**。传统安全研究都建立在紧边界和明确地图上，未来的安全边界要用语言和语义来定义，这块研究才刚起步。 ## 白天干活，晚上长记性 Learning to Learn Faster研究“可教性”。机器人做完一件事，人说一句“慢一点”“抓低一点”，下一遍它真能改。实现方式是让模型生成控制机器人的奖励代码，人类对每一步给反馈、打分。 核心设计是日循环夜循环。白天，冻结的语言模型上线服务，跟用户多轮对话，接受教学，所有对话和评分都记录下来。晚上，把这些上下文里的教学对话蒸馏回模型权重，第二天再上线。Ted说这是他们团队做过的最紧的反馈闭环。他还补了一个观察：ChatGPT、Bard、Gemini这一轮语言模型热潮里验证过的很多做法，密集评分、多轮对话蒸馏，几乎可以平移到机器人领域，这篇论文就是一次平移练习。 Keerthana拿学滑雪打比方：头两天特别难受，睡一觉，第二天回来突然就会了。白天在上下文里学，晚上改权重，机器人学习在模拟这个节奏。 另一个技巧是rollout：让模型先模拟几条可能的路径，预演各自会收到什么反馈，挑最好的一条执行，比直接选一条路效果好。不过Keerthana承认，怎么给对话质量打分还是难题，光看长度不够，代码对不对、能不能听懂反馈、可否被引导，这些维度都要建模。 ## 人形之争，和还没补上的缺口 聊到未来机器人长什么样，两位嘉宾立场分歧明显。Ted先摆出专精派的观点：今天每个家庭里早就有一堆专用机器人，叫冰箱、烤面包机、微波炉和洗碗机，没有一个万能但平庸的机器能取代它们，未来大概率继续分化。Keerthana还指出了一个先有鸡还是先有蛋的困境：学界手里用了多年的老机器人，未必代表未来形态；更先进的本体造不出来，又因为还没人证明它们有用。 Keerthana自己坚定站人形，论据有三条。第一，**人类世界是按人类的身体设计的**。开瓶子要两只手，开冰箱再拿东西要一只手扶门，轮式平台遇到路缘石就卡住，想在人类环境里干尽量多的活，本体就得尽量接近人。第二，YouTube上有海量人类视频，本体的形态跟人越接近，从人类视频里迁移的效率越高。第三，她不否认专用机器人的空间，极端要求可靠性的场景专用设备依然是答案，但通用任务的终局更接近人形。她同时承认成本是硬约束，负载、续航都得压下来，用户才会买单。 问到还差什么，Keerthana的答案是**数据依然是硬问题，而且需要再有几个研究突破**，才能把通用机器人变成可扩展的工程问题。她看好的方向有两个：一是改进机器人与基础模型的接口，现在的视觉语言动作模型里，动作永远是最弱的一环，也许动作可以更像代码；二是双手操作和高灵巧度任务，需要新的表示方法。Ted关心一个更根本的问题：机器人的动作和物理因果，到底在基础模型的能力版图里占多大一块，解决它需要十倍、百倍还是百万倍的机器人数据，机器人的scaling law还没人算得清。商业化的问题，Keerthana没替谷歌表态，只说可靠又安全的通用机器人还需要时间，进家庭要过的关不止技术，商业模型也得想清楚。 对开发者和产品人，这期节目里有三个可以直接搬走的方法： - **倒着造数据**。RT Trajectory的核心套路可以平移到任何领域：手里已经有大量成功的输出记录，回头给每条记录补写“什么样的提示能引出这个结果”，就能解锁一种新的交互方式，不用重新收集数据。 - **把开放题改成选择题**。PIVOT证明VLM的空间理解比大家以为的好，前提是把问题包装成图上标注编号的多选题，再迭代收敛。下次让模型做空间判断，试试这个包装。 - **学日循环夜循环**。白天收集真实用户的反馈和评分，晚上把这些交互蒸馏进模型，第二天再上线。反馈闭环越紧，迭代越快。 至于家里那台会收玩具、叠衣服的机器人，两位嘉宾的判断一致：能赚钱、能帮上忙的窄域机器人会比想象中来得快，通用的那台还要再等几个突破。数据集已经开源，基准已经立好，这个领域的起跑线刚刚画完。