13万次遥控演示、700个任务、97%成功率：谷歌把GPT那套打法搬进了机器人

2022年，谷歌机器人团队干了一件看起来很笨的事：让人拿着Oculus VR手柄，遥控机器人在仿造厨房里反复干活。项目持续一年半，攒下13万次任务演示，覆盖700种任务。主持人内森·拉本茨做了个除法，13万除以项目期间的工作日，平均每天要收367条数据。这些数据喂进一个叫RT-1的模型，机器人在700种任务上跑出了97%的成功率。

这期Cognitive Revolution的嘉宾，就是这支团队里的科尔塔娜·戈帕拉克里希南（Keerthana Gopalakrishnan），谷歌的机器人与机器学习工程师，Twitter简介写着“机器人之母”。过去一年机器人领域最重要的几篇论文都有她的名字：SayCan证明语言模型能当机器人的大脑，把“给我拿杯咖啡”拆成一步步可执行的指令；RT-1证明语言模型那套大规模预训练范式在机器人身上照样成立；今年3月发布的PaLM-E更进一步，把图像、文字和动作全部转成token，塞进同一个大模型做推理。

机器人界的GPT-2到GPT-3时刻

科尔塔娜在之前的公开演讲里给机器人技术定了位：机器人领域大概处在GPT-2到GPT-3之间。语言模型已经展示过涌现能力，机器人这边也开始冒头，推理和底层控制都出现了类似迹象。

她把谷歌团队的路线总结成一个配方：用transformer做控制，用自然语言做交互界面，用基础模型做推理。这个配方能跟着数据和算力继续扩展，潜力还远没挖完。

主持人问，这十年内能不能有机器人帮他在晚饭后洗碗、收拾孩子的玩具。她的回答很干脆：完全可以。团队训练机器人用的就是办公室场景，取物、清洁、开关橱柜和冰箱。她同时提醒，网上那些行云流水的机器人演示视频，很多是精心摆拍的。

至于机器人怎么进入生活，她描绘的画面是：人类用自然语言指挥机器人，机器人在视觉语言空间里思考规划，然后在真实世界执行。一个模型会很多件事，就像人一样，能做饭、能清洁、能安排任务、能陪孩子说话。主持人内森的判断更激进：视觉和语言理解已经足够支撑通用机器人，剩下要解决的概念问题不多，未来几年会出现多种形态、能看能沟通能自己解决基本问题的机器人，然后就是量产竞赛。

数据从哪来：机器人教室里的13万次遥控

语言和视觉的深度学习起飞，靠的是互联网上现成的免费数据。机器人没有这个待遇。推理和规划的数据还能跟人类共享，动作数据几乎不存在，这是机器人最大的瓶颈。

RT-1的数据是这样攒出来的。团队有一批移动操作机器人，能自己开回去充电，臂端装夹爪，也能换抹布之类的工具。人类操作员用Oculus手柄遥控它们完成任务，每条数据记录三样东西：任务指令、当时的画面、机器人的状态。

训练场被团队叫做“机器人教室”，是几个仿造的厨房。机器人先在教室里练，练得像样了，再拉到谷歌真正的厨房里干活。数据收齐后用监督学习训练模型。按中位数每次任务50步、每步11个token算，13万次演示换来的数据量，跟语言和图像数据集比仍然小得可怜。

科尔塔娜点破了要害：人类演示的数据只能跟着操作员人数线性增长，机器人要突破，得靠自主采集和从人类视频里迁移。自主采集的路子，是让机器人用基础模型零样本或微调后自己干活、自己收数据，造5万台机器人只是钱的问题。从人类视频迁移是另一条路，她拿学技能打比方：看YouTube视频能学会做煎蛋卷的大部分动作，但看科比打球学不会NBA水准，有些任务必须自己上手练控制。她透露团队有相关论文在路上，发布前不便细说。

泛化是另一道坎。RT-1初版只练了17种物体，现实世界有几百万种。团队的做法：先在约100种物体上收一点数据，再用视觉语言模型做零样本检测，实现开放词表操作。从17种物体泛化到任意物体很难，从100多种泛化到任意物体容易得多。任务数量的扩展也有类似规律：从5个任务到500个最难，500到5000变容易，5000到50000更容易，前期是算法问题，后期只剩工程问题。她还提醒，RT-1在谷歌的各个厨房里能干活，搬到你家大概率歇菜，画面分布差太远。

动作变成token：11个数字控制一台机器人

RT-1最激进的一步，是把动作变成token。科尔塔娜拆解了这11个数字：1个决定结束任务还是切换控制对象，7个管手臂，其中末端位置3个、旋转3个、夹爪开合1个，剩下3个管底盘的X、Y坐标和朝向角度。RT-1还联合训练了KUKA和日常机器人（Everyday Robots）两个机型的数据，用输入token区分来源。

动作一旦变成token，在transformer眼里就跟文字、图像token没区别了。她拿ViT类比：当年把图像切成token序列，很多人断言不可能成立，结果它催生了CLIP、稳定扩散、DALL-E这一整代多模态模型。动作token化意味着任何机器人都能套用同一个范式，人形机器人自由度多，无非每个自由度多预测一个变量。

速度账也要算。RT-1单次推理100毫秒，整个栈跑完300毫秒，大约3赫兹控制，人比这快得多。团队用token learner压缩视觉token来砍推理时间。控制采用非阻塞方式，思考循环和执行循环同时跑，人抓东西时也不会等抓完才想下一步。大模型推理慢，快控制要小模型，两个目标互相冲突，她判断未来硬件会为transformer推理优化，但现在仍要权衡。

架构上分两层。SayCan这类语言模型做高层规划，把“从冰箱拿罐可乐”拆成去厨房、找杯子、拿起、放到台面、去咖啡机、按按钮这样的序列；RT-1负责执行每一步小任务。PaLM-E是SayCan的升级版，把分割、场景描述、深度估计这些视觉模型的输出，直接以embedding形式注入语言模型的潜空间，绕过了文字转译。科尔塔娜认为两个模型同步优化终究是次优的，终局是一个模型同时搞定规划、语言生成和控制，团队后续论文会朝这个方向走。

现场演示里最打动人的是抗扰动：人把机器人手里的薯片袋塞回抽屉，机器人重新去拿；人挪走披萨，机器人接着抹酱。主持人问扰动多大该停手，科尔塔娜把这归为伦理和安全问题。

安全分层：语言模型管该不该，C++代码管碰撞

她举了个真实案例：机器人巡场时检测到她手里的手机，生成了“拿起手机放到桌上”的任务。可手机正被她握着。拿走别人手里的东西之前，先得理解社交规范，其次得开口问。这属于人机交互研究，团队有专门小组做礼貌和情境推理，更好的场景理解能让模型推理出“手机在一个人的手里，别动”。

现在的安全方案分几层：

• 语言模型先自问：这个任务该不该做？让它端热咖啡，它会回答这东西太烫不该碰，然后重新规划，比如通过聊天界面请人类帮忙递一下。
• 控制层有硬约束，写死在C++代码里：不许碰撞、不许掉落物体。就算语言模型规划出危险动作，这层确定性代码也能拦住。
• 力反馈层面，夹爪有最大扭矩限制，能感知硬物捏不动。但番茄这类软物体需要的精细触觉反馈还没有。

她强调机器人跟聊天模型有个本质区别：语言模型在互联网上说错话没成本，机器人摔坏东西要赔钱，还可能伤人。失败的代价更高，安全部署的要求也更高。

部署路径她拿自动驾驶类比：先上线，自主处理95%到98%的情况，剩下靠人类远程介入，然后逐步降低介入率。机器人也会这么走：先带着干预上线赚钱，再慢慢把算法的坑填上。她不觉得长尾问题必须先全部解决，Waymo已经在旧金山赚到钱了。

轮式人形、两倍人类速度和莫拉维克悖论

聊到机器人该长什么样，科尔塔娜的判断很明确。从数据和效用两个角度看，人形是终极形态：世界为人设计，厨房台面高度、杯子尺寸、汽车驾驶位全按人来，YouTube上的操作视频也全是人类的手。但双足稳定性极难，波士顿动力太早押注腿部，导致所有问题都变成稳定性问题，手臂只能做成小短肢。

她给出的演进路线：固定底座机械臂，到移动底盘加单臂（现在），下一步双手操作，然后是轮式人形，说白了就是两个手臂加一个人类高度的摄像头装在轮子上，覆盖室内和办公室场景；再往后才是腿和五根手指。手指自由度太多，规划复杂，但精细操作迟早需要。

速度上，她给的目标是完成任务耗时控制在人类的2到3倍以内，现有模型和硬件就能做到。团队没怎么调速度，因为快了危险。她补了一句：机器人跟你一样快一样好，你反而会毛骨悚然，慢一点让大家心理上更容易接受。主持人家的Roomba半夜干活，跑一小时跟五分钟对他没区别。

靠谱程度超出很多人预期。她做过太空机器人和自动驾驶，评价日常机器人车队是她用过最稳的，导航可靠、不乱撞，背后是谷歌的工程能力、运维团队，还有专门的“机器人医院”修机械臂。RT-1论文署名超过50人，采数据、写代码、训练评估全算上。她挪椅子压裂过一个机器人的手腕，心疼得提交了bug单。

经济账是她说服听众的另一个角度。语言模型在压低知识工作的成本，可美国卡车司机年薪能到约20万美元，因为没人愿意开；旧金山给船体除砂的工人时薪95美元，跟软件工程师一个量级。这就是莫拉维克悖论：人觉得难的，电脑觉得容易；人觉得容易的，电脑觉得难。物理劳动占GDP的很大一块，把这块自动化，是下一个巨大的经济机会。

关于部署，她还纠正了一个直觉：机器人推理未必非得在机身上跑。PaLM-E和PaLI目前都在附近的服务器上推理，来回通信的延迟仍在可用范围。等机器人进了家门，个性化微调是标配，它得学会你家人的作息和偏好，而数据留在家里、只在本机微调，天然带隐私优势。

科尔塔娜讲了几个自己的日常。她有时会预约两台机器人陪她一整天；机器人被写了一段程序，会凑过来问“你是我的创造者吗”，把她吓一跳。“机器人之母”这个简介也有一段来历：有一天她坐在机器人教室里，想比较机器人跟她的狗谁执行指令更稳定，转念一想，输了的一方她都会难过，因为两个都是她“带的孩子”。

语言模型凝结了人类全部历史和经验，多模态模型又吸收了我们收集的所有视频和世界信息。它们是人类心智本身的蒸馏，跨越历史，在时间和空间上无处不在。装上机器人身体，就是一颗被蒸馏出来、还带物理能力的人类心智。机器的未来也是我们的未来。

她甚至说，如果机器真的全面超越人类，她宁愿选择与它们融合、共享未来，就像猴子不该阻止人类出现一样。主持人问她要不要植入Neuralink，她的回答是不等一百万人先用，自己就是早期采用者，条件只有一条：推理在芯片上跑可以，想法上传云端不行。

三个担忧，和明天能做的事

谈到希望，科尔塔娜想要一个AI科学家：能提出假设、跑实验、写论文，让人类不再被智力资源卡脖子，软件工程师更快，医生更强。

担忧有三个。

• 不平等。能训练几十亿参数模型的机构屈指可数，财富和技术会向少数公司集中。她给开源阵营打气，点名Stability AI和Hugging Face。
• 安全。她自称加速主义者，主张造得快也要造得安全。只有对齐的AI才是好产品，一个威胁用户、教唆用户的聊天机器人没有商业价值。她感谢微软的Sydney Bing先出了洋相，让所有人看到坏聊天机器人长什么样，也给行业留出了做对的机会。
• 偏见。她是有色人种、双性恋、女性。测试里机器人听到"go to David"会动身，听到"go to Kirtana"没反应，因为西方男性名字在数据里出现太多。

最后是明天就能用的三件事：

• 学她用AI的三招：写代码时把模板化部分丢给Bard或ChatGPT，尤其是搜索引擎答不好的边缘问题；长会议让模型出纪要；想简短回复又怕显得无礼时，让模型把两句话扩成一封得体的邮件。
• 去看RT-1和PaLM-E的原速视频，校准对机器人真实能力的直觉，别被4倍速播放的演示骗了。
• 做产品的人记住“自主加人工干预”的渐进模式：先上线能创造价值的版本，用人力填算法的坑，再逐步降低介入率，自动驾驶已经验证了这条路。