OpenAI投500万美元押注自动驾驶：60人团队想用GPT-4V给汽车装上常识

2023年11月6日，OpenAI首届开发者大会落幕。才过了两天，它又扔出一个消息：旗下创业基金投资自动驾驶公司Ghost Autonomy，金额500万美元，双方要把多模态大模型直接装进汽车。

500万美元对OpenAI是零头，信号却很重。Ghost Autonomy成立六年，累计融资超过2亿美元，全公司只有大约60名工程师，对手Waymo的工程师数以千计。这是第一家把多模态大模型直接放进驾驶链路的公司，联合创始人兼CEO John Hayes的原话更直接：要不了多久，所有人都会这么干。

这期Cognitive Revolution，主持人Nathan Labenz和Hayes把自动驾驶行业的底层逻辑、Ghost的新架构、Cruise事故后的行业困局，全部摊开讲了一遍。以下按重点整理。

从闪存到驾驶，同一套公式

Hayes是连续创业者。来加州的第一份工作在一家虚拟世界公司，之后在雅虎待了两年做人才搜索，然后联合创办存储公司Pure Storage，一干十年。

2009年前后，闪存已经拿下消费市场，最贵的MacBook Air在用，一百美元的笔记本在用，手机更不用说。他和团队赌的是，闪存接下来会吃掉企业市场。做法是把消费级硬件搬进数据中心，用大量软件工程补齐短板，最后做出价格和传统存储系统持平、速度快十倍、更可靠也更省电的产品。

2017年他看自动驾驶，用的是同一个公式：找一条正在快速变好的消费级供应链，剩下的难题交给AI。

他住在山景城，被自动驾驶测试车包围了快十年，观察到两件事。第一，行业里弥漫乌托邦想象，说人们以后不再买车。数据不支持：出租车只占出行总量的1%，加上公共交通再多1%。有孩子的家庭，车里装着安全座椅和各种杂物，汽车是家的延伸，这个习惯不会消失。第二，这些公司造的东西太贵，激光雷达加专用计算机，一套下来天价。瞄准那1%的出行，等于放弃98%的市场，而且重资产架构很难降维。

于是Ghost押了两个几乎不用赌的趋势：手机产业链会年复一年把摄像头和芯片做得更好，每场手机发布会大家只关心拍照；AI会碾过此前所有专用算法。

统治行业近二十年的旧架构

要理解新打法，得先看旧打法。

今天路上的自动驾驶系统，多数是2004到2007年间DARPA无人车挑战赛那套思路的放大版，Waymo、Cruise、Nuro的创始人都从那个比赛里走出来。逻辑是：先建高精地图，车用激光雷达对周围建筑测距，算出自己的精确位置；再用激光雷达找移动的物体，摄像头只负责认红绿灯。定位、感知、预测、规划、控制，一层层往下走，预测环节大概10赫兹跑一次。Waymo的前身谷歌自动驾驶项目2009年立项，2013年前后扩大规模；Cruise 2015年前后跟进，用的同一套架构。

这套架构最脆弱的环节是规划。预测别的车怎么走，再规划自己的路径，两边互相纠缠，算着算着经常得出一个结论：别动了。理论上任何一辆车都可能突然变道撞过来，把所有可能性搜一遍，安全的选择只剩原地不动。

卡车公司Aurora、Kodiak也是这套架构，只是把感知和预测拉得更远，几十吨的车动量太大，必须多看几秒。另一派干脆扔掉分层，端到端训练一个大模型，传感器数据进去，轨迹出来。特斯拉最有意思，几种路线挨个试了一遍：FSD beta早期是个没有预测模块的朴素方案，后来回到经典架构加求解器，再后来又重启，一路往端到端走。

Nathan先画了个两轴四格：硬件轴从昂贵的专用传感器到消费级摄像头，AI轴从模块化工程到端到端大模型。Hayes把它简化成两种哲学。一种靠推理：每个部件都可靠，系统就可靠，这是传统汽车业安全案例的思路。另一种靠测量：不管部件怎么回事，直接上路看数据。Aurora没法开一百万辆卡车做测量，只能靠推理部件。特斯拉有一百万辆车在路上，几千上万名受信任的车主帮它测，自然选测量。手里有多少数据，决定了你信哪种哲学。

顺带把分级讲清楚。理论上五级，常用的其实只有两级半。L2是今天消费市场的主流：自适应巡航、自动紧急制动、车道保持，车会对环境做反应，人必须全程盯着。L3的分界在于车可以说「我搞定了」，人可以看书，车叫你时再接管。奔驰第一个把L3推向市场，条件苛刻：时速40英里以下、周边车道都有车、路段有高精地图、天气合适，四条全满足才激活。宝马宣布了L3产品，本田的讴歌在日本也宣布了L3。

L4围绕一个词：MRC，最小风险状态。车不必应付所有场景，遇到搞不定的情况就执行一个最安全的基本动作，市区里通常就是原地停下。至于L5那种任何场景都能开的车，Hayes的原话是，可能永远不存在。

Robotaxi就是L4的商业化形态。住在底特律的Nathan自己一次都没坐过，历史悠久的汽车城反而没有这种服务。他问了一圈坐过的人，反馈出奇一致：挺好，比Uber还让人放心，坐几次就不看它了。Waymo把第一批服务放在亚利桑那州，因为干燥、炎热、行人少；Cruise早期只在夜里跑，避开人流。旧金山现在只剩Waymo一家在运营，坡太陡的地方、太挤的时段都绕开。

但这里藏着行业最大的软肋。系统越好用，人越松懈，事故率反而上升，业内叫它恐怖谷。一套东西99%的时间表现正常，人很快就不盯了，剩下1%的怪异动作来临时，没人有准备。Cruise的麻烦，可能就有这个成分。

60个人怎么干几千人的活

回到Ghost自己。它的硬件清单短得可疑：消费级摄像头、消费级芯片、一个雷达。雷达不贵，新出厂的车三成自带，全固态，成熟了几十年。

激光雷达的强项是直接测距，Ghost用双目立体视觉补上：两颗摄像头连一台电脑，靠AI算出真实距离。传统方案要么定制芯片，要么面对苛刻的标定问题，像素只有一个微米宽，畸变一个微米整个系统就废了。Ghost的双目系统跑每秒30帧，激光雷达一般10赫兹；1200万像素意味着一千条垂直扫描线，贵的64线激光雷达只有64条。消费级硬件堆出了超过专用传感器的分辨率。

软件上的核心决定是快。多数公司的决策周期在100毫秒上下，Ghost压到30毫秒左右，快了十倍。30毫秒在高速上只跑一米，判断错了，代价也就一米。既然30毫秒后马上重新决策，就不需要预测太远：几百毫秒里，一辆有动量的车变不了多少加速度，可能性有限。预测和规划的大块计算量就这么砍掉了。

Hayes说，这是他创办Ghost以来一直在找的答案：怎么设计一种不需要一千个工程师的架构。配套纪律还有几条：全系统对称，数据采集和线上执行跑同一套软件栈，从发现问题到修复验证的周期压到极短，公司每天发布多个软件版本。再一条，不问用户要设置。别家辅助驾驶会让你定巡航速度、定跟车距离，Ghost直接看车流自己定，堵车、通畅、走走停停之间自动切换。体验上的差别是车像在水流里浮着，摆脱了死板执行配置的机械感。Ghost自己不造车，商业模式是给传统车企当供应商：特斯拉有FSD，通用、福特们需要一个答案，Ghost想当这个答案。

即便如此，边缘案例还是绕不过去。他们发现车道识别模型在有树的路段性能下降，查下去是树影、时段、眩光在捣乱，模型默认了路面光照类型。还遇到过路面洒了一滩白漆。每个特例都要补数据、改训练、改规划逻辑，这套修修补补的开发方式看不到尽头。城市驾驶为什么难？所有尝试者都在墙上撞了十年，原因就一条：边缘案例的本质是常识，常识没法用规则穷举。

OpenAI那500万美元买的是什么

转机出现在2023年3月GPT-4V发布。Hayes团队先拿它做标注，后来发现它对驾驶本身有常识。他们做了个极简实验，问模型一个看着简单、其实不好答的问题：我现在在不在这条高速上？GPS在匝道附近很不可靠，从画面判断反而更准。开源多模态模型LLaVA裸跑，正确率六成左右；用几百个街景样本微调后，拉到98%。

路径就此清晰。新架构把自动驾驶劈成两层：

• 底层是车上的高速系统，每秒30次运行，管安全、防碰撞、跟车道，所有毫秒级的事归它；
• 上层是大模型大脑，装着全部人类知识，看同样的传感器画面，在机动层面给底层下指令。

汽车变成一个API，大模型变成调用它的司机。想加一个新信号？旧流程是采数据、训识别器、改规划算法，循环往复。新流程是把所有信息全部打开，直接问模型该怎么办，还能让它用画面里的元素解释自己的答案。

Nathan自己试过一次。他在马萨诸塞州塞勒姆拍下一根灯柱上的临时停车牌，牌子被胶带贴过好几次。ChatGPT读完牌子接着推理：塞勒姆是女巫审判发生地，十月是旅游旺季，所以这是旺季临时停车规则。一张照片，读出历史和季节。

接下来Hayes这段话，和多数工程师的直觉对着干：

幻觉其实是这些模型最好的部分，因为幻觉正是常识发挥作用的地方。当你让它把场景里的信息，连同能套用的全部知识深度一起纳入，得到的答案往往比一个工程师用编程语言硬写出来的更接近现实。

工程直觉里，幻觉等于不可靠，意味着系统在瞎编。Hayes把逻辑倒了过来：那些「编」出来的联想，恰恰是规则系统永远补不上的常识。全部打开，系统开箱即用的可靠度反而更高。

地图在新架构里换了角色。一份是授权的地图数据，直接进提示词，属于免费上下文；另一份当记忆用：开过的路段存下图片和推理结果，没变化的事实不必反复调用GPT-4V，毕竟每次调用要10到30秒；雨刮器正好挡住画面时，调出旧图接着用。长期记忆是地图，短期记忆是沿途看到的路牌，以文本形式存着，过期作废，反复回填进提示词。整套系统更像一个带记忆的智能体。

延迟问题Hayes并不担心。GPT-3.5一年快了十倍，他预计多模态模型照此速度走，在车企五年换代的周期里，模型会快上、便宜上一百到一千倍。设计原则跟着调整：默认尽量调用最大的模型，只有极简单的问题，比如空旷乡路上判断周围有没有车，才交给便宜的小模型。

体验的终点，他描述得很具体：车应该用大白话告诉你它为什么这么做。他吐槽现在的车，租一辆带一堆功能的车，它冲你滴滴叫，仪表上亮一个你没见过的符号，沟通通道窄得可怜。屏幕化只是删掉了按钮，换来更深层的菜单。产品逻辑是渐进的：手握方向盘时，它是一辆百分之百的普通车；松手后默认沿路行驶；可以说「下一个路口左转」，也可以直接给一个目的地，车内摄像头还会判断此刻你想不想接管。下一步是直接跟车对话，车知道你在加油站、在充电桩、在土路上，上下文全在，按钮和菜单一起消失。

至于为什么押OpenAI，Hayes的回答很干脆：论今天就能调用的先进多模态API，OpenAI是唯一选项。谷歌的Gemini一再跳票，Anthropic的多模态计划不明朗。他还补了一个判断：企业市场吃文档，消费市场吃多模态。手机键盘上打不了多少字，下一代消费级应用必须靠摄像头、靠画面、靠上下文。

撞人之后，没人站出来辩护

聊到社会层面，Nathan的态度很鲜明，他自称自动驾驶的加速主义者：开车本来就危险，新技术在让变更安全，社会却无动于衷，这很疯狂。

话题绕不开一个多月前的Cruise事故。旧金山一辆Robotaxi被人类驾驶的车撞到，一名女行人被抛到车前，Cruise车辆刹车后执行最小风险状态、靠边停车，把人拖行了20英尺（约6米）。加州监管机构吊销了运营许可，Cruise随后主动停运了全国车队。

Nathan不解：怎么没人站起来为技术辩护？本来就更安全，事故很糟糕，会改，但不该关门。

Hayes的判断冷静得多：Cruise输在政府关系和媒体应对的全线溃败，这本该是一次可以公开解释清楚的罕见事故。更深的问题是工程上的：靠边停车这个动作是编程预设的。什么场景该原地停、什么场景该靠边、什么场景该等，靠提前穷举根本写不全，需要的恰恰是常识判断。Cruise面前是二元选择：要么全力夺回各城市的运营权，要么关门，两条路都难。

消费者的冷淡，Hayes归因于体验缺失。多数人没坐过任何形式的自动驾驶，观点来自媒体报道；体验过的人普遍转为乐观。Nathan借了邻居的特斯拉，带奶奶跑了个八小时往返，中途遇上中西部夏季典型的骤发雷雨，系统立刻交还控制。他的总评是：宁愿让它开。

特斯拉车主已经两极分化：一批人摸清了系统的脾气，知道哪个路口、什么天气会掉链子，学会主动接管，辅助驾驶利用率九成以上；另一批被吓一次，再也不碰。行业还没学会怎么教用户理解系统的边界。

监管也有苦衷。汽车行业的性能法规，惯例是产品上市几年甚至十年后才写，因为没人有存在性证明。今天带自动转向功能的车，没有任何专门法规管着。Hayes认为这是对的，没人知道完美方案长什么样。

中美竞赛这个话题，Nathan想用「别让中国先做成」来点火。Hayes给了几个冷数据：中国每年新增2000万首次上路的新司机，相当于每年往路上塞2000万个准新手；能年产百万辆电动车的只有特斯拉和比亚迪，后者是中国的。美国车企的注意力全在电动车转型上，行业会议的话题99%是电池、工厂、矿源，自动驾驶只占1%。他的结论：技术竞赛的前提是消费者先想要，监管跟着消费者的声音走。他盼着Waymo们去更多城市发免费乘车，把口碑做出来。

明天就能用上的四件事

节目最后，Hayes谈了对AI的整体看法：AI正在重写整个计算机科学，瓶颈是真正懂它的人不够；生成式AI第一次让不会写代码的人直接触摸AI，能释放多少创造力，没人知道上限；模型最终会像CPU一样功能趋同，变成人人可用的新计算机。

回到读者自己，四件事明天就能做：

第一，判断AI系统时换个视角。别只统计错误率，想想错误的来源。像Hayes那样看幻觉：它冒出来的联想里，藏着规则写不出的常识。打开GPT-4V或者任何多模态模型，拍一张路牌、一段施工路段，让它推理，感受一下多模态常识的天花板在哪。

第二，看智能硬件先看供应链。Ghost赌的是手机产业链年复一年的改进，押注汽车专用硬件的公司要自己扛成本曲线。同样的逻辑适用于几乎所有智能硬件：贴着消费级供应链做产品，每年白拿性能增长。

第三，做软件产品的人可以想想菜单的末日。按钮和深层菜单换成一问一答，前提是系统掌握上下文。Gmail的设置页、Salesforce的配置项，都是待改造清单。

第四，体验一次再说观点。所在城市有Waymo就去坐一趟，有特斯拉FSD试驾就去开一段。Hayes的原话是，体验过自动驾驶的人，普遍变得更乐观。观点应该建立在体验上，媒体叙事不算数。