顶级视觉模型只考12.5分，温网回放只给10毫秒：计算机视觉的真实水位

把当下最强的多模态模型拉去考一场「视觉体检」，成绩最好的那个只拿了12.5%。这场考试叫 RF100-VL，是 Roboflow 团队在 NeurIPS 上发布的基准，题目全部来自真实用户的任务：工厂质检、医疗影像、动植物、文档。模型要做的，是按照给人类标注员的同样指令，把图里的目标分割出来。发布时最强的 Gemini 2 拿了全场最高的12.5%。在真实世界的视觉任务上，顶级模型离及格线还差得远。

Roboflow 还维护着一个叫 visioncheckup.com 的网站，定位是「带你的大模型去验光」，持续收集多模态模型的翻车案例。空间推理、精确测量、定位分割，至今仍在困扰最好的模型。

说这些的人叫约瑟夫·纳尔逊（Joseph Nelson），计算机视觉平台 Roboflow 的 CEO。这家公司每30天有约100万开发者下载其开源项目，财富100强里超过一半在用他们的平台。主持人内森·拉本兹（Nathan Labenz）在这期《Cognitive Revolution》里，用90分钟把视觉AI这几年的进展从头捋了一遍。

纳尔逊的核心判断：计算机视觉今天大致相当于 GPT-4 刚发布时的语言模型。Transformer 2017年问世，视觉版 Transformer（ViT）2020年才来，语言用了五年从一篇论文走到每周近10亿人用 ChatGPT，视觉正在重走这条路。他说，视觉的 ChatGPT 时刻快到了。

他还放了一句更狠的话：视觉AI最终会比语言AI更大、更重要。理由很朴素，AI 要发挥全部潜力，就得离开聊天框，进入真实世界，而真实世界主要靠看。

「语言只存在于有人类和人类打造的系统的地方，而世界比语言大得多。」

视觉比语言难，难在尾部太肥

为什么视觉落后？纳尔逊的解释很直觉：语言是人类发明的，天生为「让同类听懂」而优化；视觉世界没人优化过。用 Unicode 编码全部文本很省内存，一张图却是逐像素的 RGB 三通道，信息量完全不是一个量级。

他让听众做个小实验：把一天里看到的每个东西记下来，晚上数一数。人、车、食物反复出现，落在钟形曲线中间；但换机油钻到车底下的那天，场景就滑进了长尾。一天里遇到的独特场景，比一天里读到的独特词汇多得多，视觉的长尾比语言肥。模型想覆盖这些尾部，就得吃下更多表征数据。

还有一个常被忽略的约束：视觉任务大多跑在边缘。温网转播的即时回放，从识别到上屏只有不到10毫秒，等云端大模型回话40秒，比赛都打完一局了。生产线、显微镜、望远镜、机器人，全都等不起。纳尔逊的经验法则是，云端前沿模型的能力，要再过大约18个月才能跑进 Jetson Orin 或 iPhone 这个级别的边缘设备。

所以「视觉是不是已经解决了」，答案分三段。数人头、OCR 这类任务接近解决，智谱的 GLM 用90亿参数就能实时读小票、查街景门牌。但定位分割、精确测量、空间推理（判断两个物体的相对位置）仍是重灾区。纳尔逊做过一个测试：让模型做填字游戏，直接问词该填哪一格，它经常错；把格子信息去掉、当纯文字题问，它反而答得更好。模型「看见」的能力，还在拖「推理」的后腿。他听到的小道消息是，各大实验室的后训练更关心用户意图，分割只是意图链上的一个工具调用，像素级精度反而没人精修。

还有个更麻烦的问题：不可复现。Roboflow 维护着对比 SAM3、Gemini、Claude Opus 的 Playground，纳尔逊发现失败案例报给团队后经常无法复现，因为同一个模型在同一天的不同时刻会给出不同答案。他拿 Gemini 3 批量标注数据，每张图要等40秒，结果还不稳定。

从云端大模型到自己的小模型

真实的生产系统怎么搭？Roboflow 服务着从爱好者到大企业的海量用户，见过加拿大 YouTuber 用它做喷火除草机器人和会自己开到院子里的自动驾驶沙发，也见过 Rivian 用它做整车质检、温网用它做即时回放。总结出的标准路径是：先用前沿大模型验证任务可行，再把它的能力蒸馏进一个你自己的小模型。

最有画面感的案例来自温网和美网的即时回放供应商。直播要求端到端延迟低于10毫秒，计算设备就架在球场边。SAM3 这种开放词汇分割模型当然认得球员和网球，但跑它需要的算力在这个场景不经济。解法很聪明：拿去年的比赛视频喂给 SAM3，让它自动标注球员、网球、球场、球网，生成一份高质量数据集，再训一个 RF-DETR 小模型部署到边缘。这个小模型效率高到一块 A100 能同时跑多路视频流。

RF-DETR 是 Roboflow 自己发布的模型，也是这家公司最自豪的作品：第一个实时实例分割 Transformer，在实时检测和分割上为美国夺回了 SOTA。它的训练方法值得展开，因为这几乎是「AI 研究自动化」的一个小样本。

他们拿 Meta 的 DINOv2 做骨干网络，用一种叫「权重共享神经架构搜索」（NAS）的技术：每一步训练随机采样一个子网络配置，patch 大小、解码器数量、查询数量、输入分辨率、注意力窗口全是随机变量。一次训练跑完，等于同时训练了几千个子网络配置，最后输出一整条速度与精度的帕累托前沿。NAS 训练比单次训练费算力，但绝没有贵上7000倍。纳尔逊说这是「巨大的解锁」，公司总共融资约6300万美元，靠这套方法做出了通常要大厂才做得出的东西。

这套流程现在已经产品化：把数据集丢上去，云端起一堆 GPU 跑 NAS，回来一条帕累托曲线，点一下选个位置。因为架构是为你的数据集量身搜索的，世界上不存在第二个和它一样的模型，纳尔逊管这叫 one-of-one 模型。

模型大小和数据量的直觉基本成立。RF-DETR 家族从 pico、nano 一路排到 2XL，最小的模型在4GB内存的 Jetson Nano 上能跑到每秒180帧以上；最大的 2XL 微调后，精度超过微调版的 SAM3，速度快40倍。数据量取决于场景的变化幅度。自动驾驶面对无限长尾，Karpathy 五年前在 CVPR 的演讲里专门数落过停止标志：被灌木挡住的、印在校车上的、闸门抬起才露出来的、只在特定时段出现的，PB 级视频都不够用。生产线上的电池截面扫描，变化方式有限，受控环境下几百张标注图就能训出能用的模型。

要多少精度，本质是业务问题。给零售店数客流，80%的准确率就能上线，反正原来根本没人盯着；给医院做输液袋质检，一颗微粒混进去就是人命，召回率必须拉满，先用视觉增强现有人工抽检，再逐步过渡。先想清楚业务要几个9，再决定投入多少。

开源视觉的版图：中国领先，Meta 独苗，英伟达补位

节目里有个容易被忽略的事实：语言领域美国闭源开源双领先，视觉领域美国几乎从来没领先过，领跑的一直是中国公司。纳尔逊认为原因很现实：制造业在中国经济里的分量，决定了理解视觉的优先级。

他点名了一串：阿里千问团队的 Qwen3-VL 是世界级水平，敢和闭源模型掰手腕；智谱 GLM 团队用90亿参数模型在 OCR 上超过了闭源模型；DeepSeek 的 OCR 论文把整页截图直接喂给模型来换取更多 token，发现理解损耗远小于压缩收益，本质是数据处理创新。实时检测和分割的 SOTA 也长期在中国实验室手里，LW-DETR 和 DINO 家族都出自他们，只是这些模型更难微调。

美国这边的开源主力几乎就是 Meta。从 FAIR 和 Yann LeCun 时代的 Detectron 2、Faster R-CNN，到 DETR、DINO 家族，再到全球最强的开放词汇分割模型 SAM3。纳尔逊说，大家都嘲笑 Meta 的语言模型不行，却低估了它对视觉AI的持续贡献，看懂社交网络上的海量图片本来就是它的主业。

「我们这群 Roboflow 的小个子朋友，正把美国重新画上实时视觉检测的地图。」

RF-DETR 用 Apache 2.0 协议发布，这点很关键：YOLO 系列现在商用需要商业授权，而很多开发者只是想自由地用模型。中国的 LW-DETR 团队已经回应了 RF-DETR 的成绩，但还没能反超。纳尔逊把这形容为一场全球军备竞赛。

如果 Meta 明天停止发布开源模型怎么办？纳尔逊承认整个生态都会受冲击，但他对英伟达有信心：这家公司现在的开源模型仓库数量是最多的，Nemotron 和 Cosmos Reasoning 都在持续投入，他判断英伟达会补上 Meta 留下的空缺。

Agent 下场、可穿戴拐点和几条新S曲线

纳尔逊观察到，编程 agent 正在给 Roboflow 带来新用户：开发者让 Claude Code、Codex 通过命令行直接调用平台能力，「帮我优化一个模型」变成一句话的事，技能（skills）正在成为新的获客入口。Roboflow 的下一步是学 Vercel 的 v0，做一个第一方 agent，用户说「数一下穿过这条线的人」或者「盯着路口的车」，agent 负责问清意图、选模型、搭好整条流水线。纳尔逊说，最难的其实是搞清楚用户到底想要什么，意图明确了，选 SAM3 还是 RF-DETR 反而是简单题。

他盯着的几条新S曲线：

• 世界模型：V-JEPA、World Labs 都在做，目标是用新架构理解带物理和空间关系的场景。眼下最实际的用途是合成数据，上限是直接导航真实空间。
• VLA（视觉-语言-动作）模型：给一句指令，机器人动手执行。英伟达的 GR00T、谷歌的 RT-2 都在这个方向，这类模型天生要跑在边缘设备上。
• 视觉的推理时扩展：把视觉当 agent 系统的一次工具调用，多花算力换精度。纳尔逊自己就拿 Gemini 当说明书替代品，热水器长明灯灭了，拍张照问怎么点。
• 可穿戴：去年智能眼镜卖了800万副，对比 AirPods 的6000万，量已经不小。纳尔逊的伴侣送了他一副 Oakley Meta 当圣诞礼物，骑车时朋友戴了一次就问在哪买。Snap 是第一家在财报里提到 Roboflow 的上市公司，双方还做过面向开发者的集成。他的判断是硬件采用先于软件采用，现在正处在硬件S曲线的起点。他2017年和2019年两次做AR应用，都扑在了时间点上，这次他觉得真到了。

自监督是另一条正在加速的曲线。DINOv3 用了十亿量级的图片做预训练，靠学生-教师模型互相验证，不需要人工标注，就能对场景形成丰富的潜在理解，下游接个分割头或分类头就能用。纳尔逊的解释很朴素：看够了足够多的场景，模型自己会长出「台灯通常在床头柜上」这种直觉，原理有点像把图像切块后数词频的词袋模型，效果却出奇地好。

也有堆算力没用的反例。内森以自己公司 Waymark 的场景提问：小企业主常要求顺手做展示广告，美学评估模型哪找？纳尔逊的回答很坦率：能基准化的任务，算力一上，苦涩教训就生效；「这张广告好不好看」却各花入各眼。Facebook 规定展示广告的文字占比不能超标，这种规则可以硬编码，品味不行。LAION 出过美学预测器，算迄今最好的专用模型，中间段的区分度一直上不去。他的建议是用 RLHF 思路，按单个客户的品牌历史调一个「氛围检查」模型，但他也泼冷水：营销的第一要务是与众不同，完全贴合品牌规范可能恰恰意味着平庸。

被问到视觉AI会把生活改成什么样，纳尔逊从早到晚描了一遍：农药只喷有杂草的地方，鸡蛋从供应链到餐桌全程有视觉把关，冰箱看见鸡蛋没了自动叫货，自动驾驶通勤零事故，周四夜橄榄球的数据实时叠加在画面上，快递当天送到门口，睡前牙刷顺手做了龋齿扫描。他强调这段畅想没有一句是理论，链条上的每一环都有 Roboflow 客户正在做，他还开玩笑说公司「在给圣诞老人提供技术支持」。

管结果，别管工具

聊到监管，纳尔逊在华盛顿待过，做过参议院实习生。他的立场很明确：该管的是结果，管工具会误伤。骗子用大模型冒充别人，该起诉的是诈骗行为，起诉他「模型用得太大」没有意义。

他举了个会误伤的例子：假设立个规矩，AI 涉及患者健康就要审批。听起来很合理，但北卡教堂山的一位博士后用 Roboflow 自动数显微镜下的中性粒细胞，几百个菌落数到手抽筋的活，AI 几秒搞定。这种研究因为「沾了患者健康」的边，可能根本没人敢做了。该追责的是错误的医疗行为，医疗系统里现成的规则够用了。

对「用最小最窄的模型处理个人数据」这种新权利提案，他也不太买账：能力迭代太快，蒸馏太普遍，按模型大小画线会制造大量意外死角，拖慢这场他眼中的现代工业革命。

至于全民摄像头的社会焦虑，他的答案是把判断交给时间和效用：智能眼镜先从导航提示这种小甜头开始，社会会自己权衡便利和隐私。他只坚持一条，隐私权的法律框架必须跟上技术变化，就像搜查扣押条款写在汽车发明之前，定义「什么算非法进入」的思路要平移到新设备上。

明天就能用的四步

这期节目对做产品的人最大的价值，是把「视觉任务怎么做」拆成了可执行的路径。纳尔逊反复强调的顺序是：

• 先定业务阈值。你要几个9？数客流80%能用，质检缺陷要拉满召回率，阈值不同，投入差一个数量级。
• 先测零样本基线。把任务直接丢给前沿模型，同时去 visioncheckup.com 看看这类任务的已知短板，别凭感觉下结论。
• 基线不够，先加样本再微调。CVPR 竞赛的数据是给1到5张示例图，模型最多提升约10个百分点，有用，但不是万能药；受控场景几百张标注图往往就够训一个专用模型。
• 要上边缘、要低延迟、要数据不出门，就走蒸馏路线：用 SAM3 这类大模型自动标注，再训一个 RF-DETR 这种 Apache 2.0 协议的小模型，成本和延迟一起降下来。

纳尔逊在节目最后说，视觉AI的进展快到「六个月后聊同样的话题，会是完全不同的对话」。12.5%是今天的水位，10毫秒是今天的要求，两者之间的差距，就是接下来两年所有机会所在。