# 人类接近满分、最强 AI 只有 39 分，Zapier 联合创始人悬赏百万美元求解 > Cognitive Revolution No. 154 中文精读 - 原标题：The ARC Prize: Efficiency, Intuition, and AGI, with Mike Knoop, co-founder of Zapier - 发布日期：2024-07-13 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/154-the-arc-prize-efficiency-intuition-and-agi-with-mike-knoop-c-XECXoS.html - 精读字数：约 5302 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 有一道 2019 年发布的 AI 测试题，五年过去，全球最好成绩停在 39%。 随便拉一个成年人来做，接近满分。 它叫 ARC，抽象与推理语料库（Abstraction and Reasoning Corpus），Keras 之父弗朗索瓦·肖莱（François Chollet）设计，被不少人视为目前唯一认真测量 AGI 的基准。 2024 年 6 月，Zapier 联合创始人 Mike Knoop 和肖莱联手发起 ARC Prize，总奖池 100 万美元。其中 50 万美元大奖，留给第一个在严格算力限制下把成绩做到 85% 的团队，截止日期 2024 年 11 月 10 日。 Cognitive Revolution 这一期，主持人 Nathan Labenz，连续创业者兼 AI 投资人，和 Mike 深聊了一场：这道题到底考什么，为什么大语言模型集体卡壳，钱怎么分，以及 AGI 真来了先干嘛。 ## 一道五年没人做对的题，长什么样 ARC 的题目像儿童智商测验。每道题给几对二维网格，格子里填 0 到 9 的数字，对应十种颜色。前几对是示范，左边输入、右边输出，AI 要从中猜出变换规则，再套到最后一格上。 每道题规则都不同。可能是「把所有形状涂成黄色」，可能是「沿对称轴镜像」，可能是「数一数格子里的洞」。颜色本身没有任何含义，换一套调色板，题目照样成立。 难点在两处。 第一，**每道题都是全新的**。公开训练集随便看，比赛用的是 100 道从未公开的私有题，只有极少数人见过，且全部经过人工验证，确认人类可解。系统没法背答案，因为答案从未进入任何训练数据。 第二，解题不需要语言，不需要百科知识，只需要七八种「核心知识先验」：物体性、目标导向、对称、旋转、遮罩，都是小孩两三岁就掌握的概念。 所以人类觉得简单。Nathan 做题的体验是：盯着看一会儿，突然「啊哈」一下，规则自己冒出来。 AI 的成绩单是另一回事。私有榜最高 39%，公开榜最高 42%，五年几乎原地踏步。Mike 的说法是，比赛开跑四周，还没人站出来提出一个更好的 AGI 基准，**ARC 可能仍是全世界唯一从设计之初就瞄准 AGI、并且至今没被攻破的测试**。 Mike 的背景值得交代一句。他联合创办 Zapier，2022 年年中之前管公司全部产品工程。那年一月，思维链（chain of thought）论文出来把他震住了，年中他交出职位，回 Zapier 当一名普通 AI 研究员，只想搞清楚一件事：我们到底在不在通往 AGI 的轨道上。 他扫了一圈 AI 基准，发现所有主流基准都在快速逼近人类水平，而且越来越快。只有 ARC 在减速。他深挖之后认定这绝非偶然。 这里有个定义之争。一派认为 AGI 没法定义，看到了自然认得。另一派是 OpenAI 带火的：AGI 就是在多数有经济价值的工作上超过人类，这句话甚至写进了 OpenAI 与微软的协议条款。Mike 觉得后者有漏洞，**今天的窄 AI 已经能在围棋、扑克、国际象棋上赢人类，靠堆数据和搜索就能做到，跟通用智能关系不大**。 他站肖莱 2019 年论文《论智能测量》的定义：**AGI 是能高效获取新技能并应用它的系统，技能获取效率才是通用智能的标志**。AlphaGo 赢棋之前，工程师要从零设计新算法、找新数据、堆新算力。而 Mike 拿一副新牌教你，几个小时你就能打到人类平均线。人靠少量经验泛化，机器靠暴力堆料，ARC 测的就是前者。 发起比赛的另一个原因，是当下生态的失衡。2023 年，语言模型创业公司拿走约 200 亿美元投资，探索新架构、新学习算法的方向加起来只有几亿美元，比例差不多 20 比 1。前沿实验室也不再公开细节，GPT-4 的论文没写架构，Gemini 的长上下文同样语焉不详。回头看，transformer 的谱系全靠开放串起来：2014 年 Ilya Sutskever 在谷歌发表 seq2seq，巴达瑙提出注意力机制，瓦斯瓦尼等人在谷歌写出《Attention Is All You Need》，Alec Radford 和 Ilya 在 OpenAI 做出 GPT-2。**今天的一切 AI 进展，源头是开放科学；ARC Prize 想做的，是把这条路重新打开一条缝**。 ## 规则有多苛刻：每题预算一美分 比赛托管在 Kaggle，算力由对方捐赠。想拿 50 万美元大奖，条件是私有测试集 85% 正确率，方案开源进公有领域。可以用预训练模型和有授权的软件，但禁止联网，等于用不了 GPT-4o 这类 API。 算力限制是重点：一块 P100 显卡，12 小时运行时间。 Nathan 现场算了一笔账。P100 亚马逊卖 300 美元左右，功耗 250 瓦，12 小时约 3 度电，摊下来整场比赛算力成本约 1 美元。100 道题，每题 7.2 分钟，折合 1 美分。 为什么卡这么死？Mike 的解释回到定义：**如果效率不算数，通用智能就退化成暴力搜索**。人做 ARC 的时候，脑子里不会穷举几千种变换，靠的是感知和经验，先把候选规则缩到三五个，再逐一验证。 他还给了一个演化视角：早期生物要在环境里找食物、躲天敌，乱动是要付代价的。**效率可能就是演化造出智能时用的那个梯度**，能用极少的局部证据做出好决策的生物活了下来。 训练阶段倒是完全放开，预训练随便做，限制只卡在推理时。这跟人类对称：你 7 分钟解一道题，背后是几万年演化加二十年的成长，账要一起算。 ## 目前最强的两个方案，都带点「作弊感」 公开榜第一名 Ryan Greenblatt（Redwood Research）的思路：把题目图像喂给 GPT-4o，让它采样生成大量 Python 程序，再用确定性代码逐一验证哪个程序能复现示范对，拿验证通过的程序去解测试题。每题约 2000 条推理轨迹，成绩 42%。 有人怀疑 GPT-4o 训练数据里有 ARC 泄漏。Mike 给出另一种解释：过去几年一大群人手写代码解 ARC，把程序发到了网上。**语言模型采样到的，很可能是人类解类似题时写下的程序**。污染存在，来源是网上的人类代码，未必是题目本身。 私有榜最高 39%，来自 Jack Cole 团队，玩法是测试时微调。模型只有 2.2 亿参数级别（Salesforce 的 CodeT5 一类），在 12 小时运行时间里现场生成新谜题、现场微调、再直接作答。选这么小的模型，就是为了塞进比赛的算力预算。 一个耐人寻味的巧合：公开榜允许联网调 API，总预算上限一万美元，Nathan 估算单题成本约 100 美元，比私榜的一美分高出一万倍。两个榜的最高分只差几个百分点。**多花一万倍的钱，目前买不来多少分**，所有方案都在顶格烧完自己的预算。 还有个背景数据：2020 年第一届 Kaggle 比赛，个人方案最高约 20%，把所有参赛方案集成起来纯暴力搜索，能解 40% 到 50% 的题。今天的 AI 方法，某种意义上刚追平五年前的暴力搜索。再往上，暴力搜索会撞上组合爆炸，85% 必须靠新东西。 Mike 的判断很直接：现有架构的语言模型上限大概 50% 到 60%，到不了 85%。理由是当前架构本质仍在训练数据见过的程序附近做检索和插值，遇到训练数据里完全没有的新程序就抓瞎。模型越大，需要的示例越少，但骨子里还是直接推理，没有跳出去。他个人的赌注是：**ARC 最终会被一个 7B 模型加一万行代码解决**。 ## 两个人当场掰扯的点 Nathan 不同意「进展停滞」的说法。他重度使用大模型三年，推理和解题能力的进步肉眼可见，还掏出两篇论文当证据。 一篇是 2022 年的中美合作研究：把梯度下降编码成矩阵形式，再去正常预训练的模型权重里找，居然找到了同样的模式。也就是说，模型做少样本推理时，可能真的在前向传播里执行了某种学习，这跟背答案两码事。 另一篇是《Paradox of Learning to Reason》。研究者用 BERT 在 500 条合成演绎规则上训练，分布内测试 100% 正确；换到另一个分布的 500 条，推理步数一多，正确率掉到 50% 以下。接着研究者手工设计了一组权重，同一个 BERT 架构，两个分布全部 100%。 Mike 从这篇论文读出的结论更有意思：**也许架构够用，坏的是训练算法**。反向传播永远找不到那组手工权重，找到它的是研究者脑子里的通用智能。 聊到这里，Nathan 给出了一个自己的智能定义。 > 「智能，是在没有显式算法可用的任务上依然取得成功的能力。」 他举了 MNIST 的例子：让 Claude 3.5 Sonnet 写一段显式代码识别手写数字，正确率只有 14%，比瞎猜高一点。至今没有不靠学习的好算法，人眼却一看就会。Mike 认为这个定义跟肖莱的版本精神相通，只是少了效率这根弦，留着暴力搜索的后门。 两人倒是在一件事上共识明确：人类解题的「猜规则」环节，那个说不清道不明的直觉，是整个问题里最神秘也最值钱的部分。Nathan 把自己解题拆成四步：识别显著特征、猜规则、写程序、错了回头查。头尾两步都有算法味，唯独猜规则那一下，他内省也说不清来源，直觉凭空冒出来。他说这正是 AI for Science 的核心，一个能提出值得花钱验证的假设的模型，比什么都有用，蛋白质设计已经跑出了样子。 Mike 补了一个容易被忽略的人类能力：处理歧义。数据集里有些题有笔误或故意留白，人类能同时持有多个候选规则，承认信息不足，用两次提交机会跟现实碰一下，再根据反馈更新。现在的 AI 系统基本没这一手。 Mike 自己的副业项目走得更远：绕开反向传播，用架构搜索让程序合成能力自己涌现。他数了数深度学习十年来的主流架构，CNN、RNN、transformer、xLSTM、RWKV、状态空间模型，也就七八个，**架构搜索空间远没穷尽**。神经架构搜索研究了多年，学术界算力不够，大多退化成调超参数，几乎一无所获。二值、三值权重网络让他看到希望：当网络只剩「两个节点连不连」这种 0 和 1 的选择，你就是在直接搜索架构本身。**语言模型军备竞赛把每美元算力打了下来，也许第一次让真正的全局架构搜索变得可负担**。这条路比直接解题慢，但一旦走通，ARC 只是那个系统的反馈工具，天花板高得多。 顺带一提「水位线效应」：四分钟一英里、游戏速通、2020 年的 ARC 比赛里都是同一种现象，一个人把分数抬上去三四点，几天内所有人都能跟上。有人在推特放话，谁解出 ARC 别公开代码，直接开 1000 万美元年薪来谈。Mike 的回应是，比赛会一直办下去，直到有人把方案放进公有领域。 ## AGI 真来了，先干嘛？Mike 的答案很扫兴 聊到 AGI 之后的世界，Mike 没谈奇点。 他说第一批用途会非常无聊：解决应用层的可靠性。 他在 Zapier 部署 AI 一年半，最大的教训是用户信任。真实事故：Zapier 的 AI 系统自动决定 Slack 消息发到哪个频道，结果把用户内容发进了一个与外部合作伙伴共享的频道。团队赶紧加上确定性覆盖规则：消息正文可以让 AI 写，目标频道绝不允许它猜。 他把 AI 用例画成同心圆。最内圈是发错也无所谓的场景，比如总结收件箱；往外是碰客户的、上生产的，风险陡增，今天几乎没人敢全自动部署。**能解 ARC 的系统，本质是从任意核心知识先验出发、对从未见过的任务做到严丝合缝泛化的程序，这正好补上应用层缺的那块**。 放进产品里，这意味着一种新的编程方式：给几个例子，系统就能泛化到没见过的运行时情况。Zapier 的 AI 机器人现在的做法，是把提示词的控制权完全交给用户，用户自己调试：先写「每小时看收件箱，总结老板的邮件发到 Slack」，跑几天发现漏了，原来老板从私人邮箱发的，再回去补规则。靠这个反馈循环，才把可靠性抬到有人愿意付费的水平。Mike 想要的下一代系统，是让模型自己学会绕开这些坑，省得每个用户重新踩一遍。 老板从私人邮箱发邮件怎么办？理想系统应该先来问你。Mike 承认，连「该不该问人」这个判断本身，现在的系统都做不可靠。 Nathan 在节目末尾的独白里补了一个安全视角：一个用一美分算力解出 ARC 的系统，大概率装不下 Claude 今天那套价值观理解。早期 AI 安全理论担心的小而强系统、回形针最大化器，可能换个形态回来。他自己的希望是混合路线：**语言模型组件负责价值观和直觉，算法搜索模块负责精确推理，嵌套着来**。这套方案不符合比赛规则，拿不了奖，但他觉得真到那一步，够快够便宜才是硬道理，智能长什么样，没必要迎合人类的直觉和偏好。 ## 明天就能做的事 给三种人三份清单。 - 想亲身感受问题的：去 arcprize.org 做几道首页公开题。人类能对八九成，做完就知道 AI 卡在哪。 - 想动手参赛的：别从零开始。公开榜所有高分方案都附代码，Ryan 的方案可以直接复制进 notebook 改。测试成本压得下来，别一上来跑全量 500 题，随机抽 10 道验证想法，一次 10 到 20 美元。先用开源小模型证明算法，再考虑放大。 - 想找研究灵感的：Nathan 在节目末尾给了一份论文清单，DSPy（自动优化自然语言程序，曾在人机提示词对抗中赢过专家）、状态空间模型的多向扫描方案、DeepMind 的 AlphaGeometry（语言模型出直觉、符号引擎做验证，IMO 几何金牌水平，训练用了 1 亿条合成样本）、《Transformers meet Neural Algorithmic Reasoners》。 这些方案的共同点：**让神经网络的直觉去引导符号搜索，别指望一个模型包打天下**。 Mike 当时留下的判断值得记一笔：六个月内有人攻破 ARC，会非常精彩；没人攻破，同样非常精彩。比赛 2024 年 11 月 10 日截止，见分晓那天，两种结果都值得围观。