人类接近满分、最强 AI 只有 39 分，Zapier 联合创始人悬赏百万美元求解

有一道 2019 年发布的 AI 测试题，五年过去，全球最好成绩停在 39%。

随便拉一个成年人来做，接近满分。

它叫 ARC，抽象与推理语料库（Abstraction and Reasoning Corpus），Keras 之父弗朗索瓦·肖莱（François Chollet）设计，被不少人视为目前唯一认真测量 AGI 的基准。

2024 年 6 月，Zapier 联合创始人 Mike Knoop 和肖莱联手发起 ARC Prize，总奖池 100 万美元。其中 50 万美元大奖，留给第一个在严格算力限制下把成绩做到 85% 的团队，截止日期 2024 年 11 月 10 日。

Cognitive Revolution 这一期，主持人 Nathan Labenz，连续创业者兼 AI 投资人，和 Mike 深聊了一场：这道题到底考什么，为什么大语言模型集体卡壳，钱怎么分，以及 AGI 真来了先干嘛。

一道五年没人做对的题，长什么样

ARC 的题目像儿童智商测验。每道题给几对二维网格，格子里填 0 到 9 的数字，对应十种颜色。前几对是示范，左边输入、右边输出，AI 要从中猜出变换规则，再套到最后一格上。

每道题规则都不同。可能是「把所有形状涂成黄色」，可能是「沿对称轴镜像」，可能是「数一数格子里的洞」。颜色本身没有任何含义，换一套调色板，题目照样成立。

难点在两处。

第一，每道题都是全新的。公开训练集随便看，比赛用的是 100 道从未公开的私有题，只有极少数人见过，且全部经过人工验证，确认人类可解。系统没法背答案，因为答案从未进入任何训练数据。

第二，解题不需要语言，不需要百科知识，只需要七八种「核心知识先验」：物体性、目标导向、对称、旋转、遮罩，都是小孩两三岁就掌握的概念。

所以人类觉得简单。Nathan 做题的体验是：盯着看一会儿，突然「啊哈」一下，规则自己冒出来。

AI 的成绩单是另一回事。私有榜最高 39%，公开榜最高 42%，五年几乎原地踏步。Mike 的说法是，比赛开跑四周，还没人站出来提出一个更好的 AGI 基准，ARC 可能仍是全世界唯一从设计之初就瞄准 AGI、并且至今没被攻破的测试。

Mike 的背景值得交代一句。他联合创办 Zapier，2022 年年中之前管公司全部产品工程。那年一月，思维链（chain of thought）论文出来把他震住了，年中他交出职位，回 Zapier 当一名普通 AI 研究员，只想搞清楚一件事：我们到底在不在通往 AGI 的轨道上。

他扫了一圈 AI 基准，发现所有主流基准都在快速逼近人类水平，而且越来越快。只有 ARC 在减速。他深挖之后认定这绝非偶然。

这里有个定义之争。一派认为 AGI 没法定义，看到了自然认得。另一派是 OpenAI 带火的：AGI 就是在多数有经济价值的工作上超过人类，这句话甚至写进了 OpenAI 与微软的协议条款。Mike 觉得后者有漏洞，今天的窄 AI 已经能在围棋、扑克、国际象棋上赢人类，靠堆数据和搜索就能做到，跟通用智能关系不大。

他站肖莱 2019 年论文《论智能测量》的定义：AGI 是能高效获取新技能并应用它的系统，技能获取效率才是通用智能的标志。AlphaGo 赢棋之前，工程师要从零设计新算法、找新数据、堆新算力。而 Mike 拿一副新牌教你，几个小时你就能打到人类平均线。人靠少量经验泛化，机器靠暴力堆料，ARC 测的就是前者。

发起比赛的另一个原因，是当下生态的失衡。2023 年，语言模型创业公司拿走约 200 亿美元投资，探索新架构、新学习算法的方向加起来只有几亿美元，比例差不多 20 比 1。前沿实验室也不再公开细节，GPT-4 的论文没写架构，Gemini 的长上下文同样语焉不详。回头看，transformer 的谱系全靠开放串起来：2014 年 Ilya Sutskever 在谷歌发表 seq2seq，巴达瑙提出注意力机制，瓦斯瓦尼等人在谷歌写出《Attention Is All You Need》，Alec Radford 和 Ilya 在 OpenAI 做出 GPT-2。今天的一切 AI 进展，源头是开放科学；ARC Prize 想做的，是把这条路重新打开一条缝。

规则有多苛刻：每题预算一美分

比赛托管在 Kaggle，算力由对方捐赠。想拿 50 万美元大奖，条件是私有测试集 85% 正确率，方案开源进公有领域。可以用预训练模型和有授权的软件，但禁止联网，等于用不了 GPT-4o 这类 API。

算力限制是重点：一块 P100 显卡，12 小时运行时间。

Nathan 现场算了一笔账。P100 亚马逊卖 300 美元左右，功耗 250 瓦，12 小时约 3 度电，摊下来整场比赛算力成本约 1 美元。100 道题，每题 7.2 分钟，折合 1 美分。

为什么卡这么死？Mike 的解释回到定义：如果效率不算数，通用智能就退化成暴力搜索。人做 ARC 的时候，脑子里不会穷举几千种变换，靠的是感知和经验，先把候选规则缩到三五个，再逐一验证。

他还给了一个演化视角：早期生物要在环境里找食物、躲天敌，乱动是要付代价的。效率可能就是演化造出智能时用的那个梯度，能用极少的局部证据做出好决策的生物活了下来。

训练阶段倒是完全放开，预训练随便做，限制只卡在推理时。这跟人类对称：你 7 分钟解一道题，背后是几万年演化加二十年的成长，账要一起算。

目前最强的两个方案，都带点「作弊感」

公开榜第一名 Ryan Greenblatt（Redwood Research）的思路：把题目图像喂给 GPT-4o，让它采样生成大量 Python 程序，再用确定性代码逐一验证哪个程序能复现示范对，拿验证通过的程序去解测试题。每题约 2000 条推理轨迹，成绩 42%。

有人怀疑 GPT-4o 训练数据里有 ARC 泄漏。Mike 给出另一种解释：过去几年一大群人手写代码解 ARC，把程序发到了网上。语言模型采样到的，很可能是人类解类似题时写下的程序。污染存在，来源是网上的人类代码，未必是题目本身。

私有榜最高 39%，来自 Jack Cole 团队，玩法是测试时微调。模型只有 2.2 亿参数级别（Salesforce 的 CodeT5 一类），在 12 小时运行时间里现场生成新谜题、现场微调、再直接作答。选这么小的模型，就是为了塞进比赛的算力预算。

一个耐人寻味的巧合：公开榜允许联网调 API，总预算上限一万美元，Nathan 估算单题成本约 100 美元，比私榜的一美分高出一万倍。两个榜的最高分只差几个百分点。多花一万倍的钱，目前买不来多少分，所有方案都在顶格烧完自己的预算。

还有个背景数据：2020 年第一届 Kaggle 比赛，个人方案最高约 20%，把所有参赛方案集成起来纯暴力搜索，能解 40% 到 50% 的题。今天的 AI 方法，某种意义上刚追平五年前的暴力搜索。再往上，暴力搜索会撞上组合爆炸，85% 必须靠新东西。

Mike 的判断很直接：现有架构的语言模型上限大概 50% 到 60%，到不了 85%。理由是当前架构本质仍在训练数据见过的程序附近做检索和插值，遇到训练数据里完全没有的新程序就抓瞎。模型越大，需要的示例越少，但骨子里还是直接推理，没有跳出去。他个人的赌注是：ARC 最终会被一个 7B 模型加一万行代码解决。

两个人当场掰扯的点

Nathan 不同意「进展停滞」的说法。他重度使用大模型三年，推理和解题能力的进步肉眼可见，还掏出两篇论文当证据。

一篇是 2022 年的中美合作研究：把梯度下降编码成矩阵形式，再去正常预训练的模型权重里找，居然找到了同样的模式。也就是说，模型做少样本推理时，可能真的在前向传播里执行了某种学习，这跟背答案两码事。

另一篇是《Paradox of Learning to Reason》。研究者用 BERT 在 500 条合成演绎规则上训练，分布内测试 100% 正确；换到另一个分布的 500 条，推理步数一多，正确率掉到 50% 以下。接着研究者手工设计了一组权重，同一个 BERT 架构，两个分布全部 100%。

Mike 从这篇论文读出的结论更有意思：也许架构够用，坏的是训练算法。反向传播永远找不到那组手工权重，找到它的是研究者脑子里的通用智能。

聊到这里，Nathan 给出了一个自己的智能定义。

「智能，是在没有显式算法可用的任务上依然取得成功的能力。」

他举了 MNIST 的例子：让 Claude 3.5 Sonnet 写一段显式代码识别手写数字，正确率只有 14%，比瞎猜高一点。至今没有不靠学习的好算法，人眼却一看就会。Mike 认为这个定义跟肖莱的版本精神相通，只是少了效率这根弦，留着暴力搜索的后门。

两人倒是在一件事上共识明确：人类解题的「猜规则」环节，那个说不清道不明的直觉，是整个问题里最神秘也最值钱的部分。Nathan 把自己解题拆成四步：识别显著特征、猜规则、写程序、错了回头查。头尾两步都有算法味，唯独猜规则那一下，他内省也说不清来源，直觉凭空冒出来。他说这正是 AI for Science 的核心，一个能提出值得花钱验证的假设的模型，比什么都有用，蛋白质设计已经跑出了样子。

Mike 补了一个容易被忽略的人类能力：处理歧义。数据集里有些题有笔误或故意留白，人类能同时持有多个候选规则，承认信息不足，用两次提交机会跟现实碰一下，再根据反馈更新。现在的 AI 系统基本没这一手。

Mike 自己的副业项目走得更远：绕开反向传播，用架构搜索让程序合成能力自己涌现。他数了数深度学习十年来的主流架构，CNN、RNN、transformer、xLSTM、RWKV、状态空间模型，也就七八个，架构搜索空间远没穷尽。神经架构搜索研究了多年，学术界算力不够，大多退化成调超参数，几乎一无所获。二值、三值权重网络让他看到希望：当网络只剩「两个节点连不连」这种 0 和 1 的选择，你就是在直接搜索架构本身。语言模型军备竞赛把每美元算力打了下来，也许第一次让真正的全局架构搜索变得可负担。这条路比直接解题慢，但一旦走通，ARC 只是那个系统的反馈工具，天花板高得多。

顺带一提「水位线效应」：四分钟一英里、游戏速通、2020 年的 ARC 比赛里都是同一种现象，一个人把分数抬上去三四点，几天内所有人都能跟上。有人在推特放话，谁解出 ARC 别公开代码，直接开 1000 万美元年薪来谈。Mike 的回应是，比赛会一直办下去，直到有人把方案放进公有领域。

AGI 真来了，先干嘛？Mike 的答案很扫兴

聊到 AGI 之后的世界，Mike 没谈奇点。

他说第一批用途会非常无聊：解决应用层的可靠性。

他在 Zapier 部署 AI 一年半，最大的教训是用户信任。真实事故：Zapier 的 AI 系统自动决定 Slack 消息发到哪个频道，结果把用户内容发进了一个与外部合作伙伴共享的频道。团队赶紧加上确定性覆盖规则：消息正文可以让 AI 写，目标频道绝不允许它猜。

他把 AI 用例画成同心圆。最内圈是发错也无所谓的场景，比如总结收件箱；往外是碰客户的、上生产的，风险陡增，今天几乎没人敢全自动部署。能解 ARC 的系统，本质是从任意核心知识先验出发、对从未见过的任务做到严丝合缝泛化的程序，这正好补上应用层缺的那块。

放进产品里，这意味着一种新的编程方式：给几个例子，系统就能泛化到没见过的运行时情况。Zapier 的 AI 机器人现在的做法，是把提示词的控制权完全交给用户，用户自己调试：先写「每小时看收件箱，总结老板的邮件发到 Slack」，跑几天发现漏了，原来老板从私人邮箱发的，再回去补规则。靠这个反馈循环，才把可靠性抬到有人愿意付费的水平。Mike 想要的下一代系统，是让模型自己学会绕开这些坑，省得每个用户重新踩一遍。

老板从私人邮箱发邮件怎么办？理想系统应该先来问你。Mike 承认，连「该不该问人」这个判断本身，现在的系统都做不可靠。

Nathan 在节目末尾的独白里补了一个安全视角：一个用一美分算力解出 ARC 的系统，大概率装不下 Claude 今天那套价值观理解。早期 AI 安全理论担心的小而强系统、回形针最大化器，可能换个形态回来。他自己的希望是混合路线：语言模型组件负责价值观和直觉，算法搜索模块负责精确推理，嵌套着来。这套方案不符合比赛规则，拿不了奖，但他觉得真到那一步，够快够便宜才是硬道理，智能长什么样，没必要迎合人类的直觉和偏好。

明天就能做的事

给三种人三份清单。

• 想亲身感受问题的：去 arcprize.org 做几道首页公开题。人类能对八九成，做完就知道 AI 卡在哪。
• 想动手参赛的：别从零开始。公开榜所有高分方案都附代码，Ryan 的方案可以直接复制进 notebook 改。测试成本压得下来，别一上来跑全量 500 题，随机抽 10 道验证想法，一次 10 到 20 美元。先用开源小模型证明算法，再考虑放大。
• 想找研究灵感的：Nathan 在节目末尾给了一份论文清单，DSPy（自动优化自然语言程序，曾在人机提示词对抗中赢过专家）、状态空间模型的多向扫描方案、DeepMind 的 AlphaGeometry（语言模型出直觉、符号引擎做验证，IMO 几何金牌水平，训练用了 1 亿条合成样本）、《Transformers meet Neural Algorithmic Reasoners》。

这些方案的共同点：让神经网络的直觉去引导符号搜索，别指望一个模型包打天下。

Mike 当时留下的判断值得记一笔：六个月内有人攻破 ARC，会非常精彩；没人攻破，同样非常精彩。比赛 2024 年 11 月 10 日截止，见分晓那天，两种结果都值得围观。