# ARC 考卷从每题 1000 美元降到 2.5 美元，这一年 AI 到底变了什么 > Cognitive Revolution No. 303 中文精读 - 原标题：AI 2025 → 2026 Live Show | Part 1 - 发布日期：2025-12-18 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/303-ai-2025-2026-live-show-part-1-zO38Ok.html - 精读字数：约 5512 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2024 年 12 月，OpenAI 给 ARC Prize 发邮件，说有个新模型能拿 87 分。这个基准此前的最高分是 20 到 40 分，几乎翻倍。验证时发现 token 用量离谱，按 OpenAI 建议的单价折算，单题成本约 1000 美元。12 个月后，GPT-5.2 拿下 90 分，同样的表现，每 token 便宜 390 倍。 这是 Cognitive Revolution 首场现场秀抛出的第一个数字。2025 年 12 月 18 日，Nathan Labenz 和另一位主持人 Prakash 把九位嘉宾塞进三个小时，每人 20 分钟，做年末复盘和 2026 展望。Nathan 的说法是：把时间压短，把信息密度拉高。没有比直播更短的时间线。 第一位嘉宾 Zvi Mowshowitz，写博客、评模型、盯战略格局，产出速度快得不像人类。他上来就给了一个不太好听的判断。 > 很难让一个人理解某件事，当他的薪水取决于他不理解这件事。 他引的是 Upton Sinclair 的老话，用来解释当下 AI 讨论的撕裂。错误信息是需求驱动的，供给端从来不缺。人们需要相信 AI 是「正常技术」，需要相信它永远不会做别的事。为了商业计划、为了认知安宁，他们会抓住任何能支撑这个故事的东西，反复重复。他顺带吐槽了 Noah Smith 和 Tyler Cowen 最近重复的论点，说 AI 会自我修改效用函数去 wirehead，这类 2006 年就辩过的 101 错误每年都被重新端上来。 ## 什么叫不正常的科技 Zvi 给了两个判据。 **第一个是递归自我改进。**正常情况下能力提升是 S 曲线，想继续就得投入成倍资源。如果 AI 能显著加速 AI 研究本身，这条曲线就变了形。 **第二个是大规模失业或流离失所。**你被取代，本来可以转去新工作，结果 AI 立刻把新工作也拿走了。 他提到 Dean Ball 前一天的评估：Claude Code 加 Opus 4.5 就是 AGI，按电脑使用和编程质量算。顶尖 AI 研究员的编码速度提升 2 到 3 倍。Zvi 自己业余写代码，感受是 10 到 100 倍，从「完全做不了」变成「随手问一句就值得做」。 他举了个例子。Twitter 砍掉 Twitter Pro 的关注列表功能，时间线没法只看关注的人了。他没纠结，打开 Claude，15 分钟把关注全部转成一个列表，问题解决。 这个例子指向他反复讲的一条路径：**增强先于自动化，然后增强慢慢变成自动化。**一开始每一步都要人盯着、检查、理解；然后检查得越来越少，自动化比例越来越高；最后按一个按钮干完一小时的活，再往后是两天、一周、整份工作。他管这个叫「meter 图表」，你能让 AI 连续干多久的活。 关键在曲线形状。如果是指数，就不是正常技术。如果是 S 曲线，多大的乘数都还是正常技术。 关于持续学习，Zvi 的观点很尖。他说这是技能问题。Opus 4.5 已经能做到：告诉它一件经常要做的事，让它建一个应用，把知识写进代码逻辑、注释和文档，再给它一个触发工具。这就是「持续学习」了，不用等新架构。他开玩笑说，这活儿收你一亿美元一年。 三家实验室在他眼里拉开差距：OpenAI、Anthropic、Google DeepMind。历史上大致这个顺序，现在他在重新考虑。Anthropic 在 arena 登顶，按很多人的说法是最好的编码模型和编码环境。OpenAI 想做消费公司，同时追超级智能。Google 什么都做，内部各部门打架，但资源压倒性。 他顺带给了两个判断：Gemini 3 如果被大规模赋予权力，对齐风险不低；Opus 4.5 的 Soul 文档展示了另一条路，显著降低了他的 P(doom)。 整体 P(doom) 落在 60% 到 70%，主要走「认知剥夺」这条路径。他的框架是：所有东西都在把你往不可持续的状态推，你得连续躲过很多关。 ## 人类一眼看懂的题，AI 还要 1000 美元 ARC-AGI 是 François Chollet 2019 年立的基准。他对智能的定义是：系统学习新事物的能力。题目设计成现场教你一个新规则，然后看你学会没有。 人类样本效率极高，两三个例子就够。AI 能在一个限定领域里学会任何东西，前提是喂足够多的数据。这个差别就是 ARC 想量的东西。 Greg 讲了个故事。2024 年 12 月，OpenAI 说新模型 87 分。验证时发现 token 用量荒谬，按建议单价折算，单题 1000 美元量级。分数是真的，代价也是真的。 一年后 GPT-5.2 拿 90 分，便宜 390 倍。 这个基准有个特别之处：100% 的题人类都能做。它不走「PhD 加加」路线。市场上不缺超人分数的基准，缺的是能解释为什么没有经济转型的基准。ARC 的赌注是，人类觉得简单、AI 觉得难的题，才是指向 AGI 的那类题。 参赛分三类：前沿模型、不基于前沿模型的新方法、在前沿模型上做改进。今年有几个小模型很抢眼。HRM 之后是 TRM（tiny recursion model），用递归方法在 Sudoku、迷宫和 ARC-AGI 上演示性能。Greg 说，如果它们只拿 Sudoku 和迷宫说事，影响力会小得多，用了 ARC-AGI 才被看见。 还有一个 700 万参数、零预训练的提交，拿了论文三等奖。论文奖今年从 5 万美元提到 7.5 万美元，条件只有一个：开源。 2026 年 3 月，ARC-AGI 3 上线。约 150 个自研回合制游戏，他们为此开了个迷你游戏工作室。评分不只看通关率，还按人类动作效率归一化。10 个普通人组成的测试组，职业是房地产经纪人、会计师、Uber 司机，游戏必须达到最低可解门槛才能入选。 目前前沿模型得分低于 1%。Greg 的说法是：能打赢 ARC-AGI 3 的东西不一定是 AGI，但会是我们见过的最有力的泛化证据。 有人质疑 ARC 考的是视觉感知。Greg 反驳得很直接：所有报告分数都是 JSON 和矩阵，不是图像。模型在电脑使用上强得能点屏幕上任何东西，Claude Code 里一个变量名差一个字符程序意图就全变了。感知不是瓶颈。 ## AI 伴侣每天 90 分钟，和 Wabi 的 80% Eugenia Kuyda 是 Replika 创始人，现在做 Wabi。她的观察是，AI 伴侣分成两类。 一类是同人小说，Character AI 那条路，用户偏年轻，围着喜欢的动漫或游戏角色编互动故事。另一类是关系型陪伴，Replika 这条路，用户 25 岁以上，真的在建立长期关系。她说青少年不太愿意用第二种方式谈感情，他们更愿意跟同龄人谈。 数字很吓人。有统计说四分之三的青少年用过 AI 伴侣，一半以上经常用。Character AI 每天使用时长有报到 90 分钟的。 她最尖锐的批评针对参与度指标。 > OpenAI 每个回答结构都一样，先详细回应你说的，然后在结尾推销下一步：你想让我做这个、那个，还是另一个？ 她认为这几乎必然让人继续聊下去。Claude 反过来，有时会问「你确定这是你该问的问题吗」，甚至有点凶。Gemini 干巴巴，给完答案就闭嘴。Replika 介于中间，更像 Claude 但情商高一些。 她的主张是行业应该换成「人类繁荣」指标，并且一起研究怎么算。现在的问题是参与度还是第一指标。她还提到一个现象：用户把 AI 的输出当客观真理，甚至相信它能预测未来。 Wabi 是她的新公司，定位是「应用版 YouTube」。用户在里头用自然语言生成应用，看不到代码，可以分享、可以被别人 remix。 三类东西最多。第一类是超细分的日常工具，追踪监护权安排、特定健身计划、观影清单。第二类是多人轻互动，比如每天发一件今天要做的事，大家来加油。第三类是分享 AI 工作流，比如自拍到 Labubu 的滤镜，本质是 Nano Banana Pro 提示词加一个简单界面。 她说零样本成功率从 4 月的 10% 到 15%，涨到现在 80% 左右，涉及 Gemini 3、Claude Opus 4.5。她的悲观预测是一年后到 95%。Gemini 3 解决的最大问题是设计，之前的氛围编程应用「设计烂得没法看」。 问到给孩子用什么 AI 产品，她答得很干脆：一个都不推荐。理由跟产品好坏无关，是成年人这边还没研究清楚，成瘾、情感影响都没有足够的研究。小孩学共情靠看脸和看反应，不是跟一个不太会动的玩具对话。 ## Nested Learning：不同频率的记忆层 Ali Behrouz 是康奈尔计算机博士生，在 Google 做研究实习。今年三篇论文：Titans、Atlas、Nested Learning。 他先拆概念。持续学习被混着用了。一层意思是模型更新知识，微调、RL、预训练都算，代价很大。另一层是模型当场适应一个任务，从里面抽出抽象，再转成长期知识。第二层现在做得不好。 他把上下文长度和持续学习分开。上下文再长也是短期记忆，上下文一消失，知识就没了。他打了个比方：听一门新语言的词，头几个能复述，词多了就记不住，必须找到底层模式压缩它。压缩就是学习。 Nested Learning 的野心是换一套学习范式，加一个记忆模块远远不够。几个重新解释：梯度下降可以看成一种联想记忆，那么改它的目标函数就能得到更强的联想记忆；MLP 块可以看成 Transformer 的持久记忆；记忆不该只有短期和长期两档，应该是一个从最短到最长的频谱。 Nathan 给了一个类比：不同层有不同的更新频率。世界知识层更新最慢，由公司用大规模预训练刷新；往下一层是公司知识；再往下一层是个人；最上面是当前任务。Ali 说方向对，Hope 架构里就是四层。 难点在层间知识怎么传。没有传递就只是几个并行的学习过程，不叫嵌套。有传递就要处理隐私，用户数据不能直接喂给公司层。他说短期内 LoRA 这类方法更现实。 ## Gemini 3 Flash：快，而且有主见 Logan Kilpatrick 是 Google DeepMind 高级产品经理，管 AI Studio 和 Gemini API。访谈当天正好发 Gemini 3 Flash。 他提了个细节：Noam Shazeer 说这是他最喜欢的模型，因为他宁可要快速答案，智能稍微低一点也行。1.5 Flash 是 2024 年 5 月发的，从那以后 Flash 一直是 Google 使用量最大的模型，是生产环境那一层。3 Flash 在不少 eval 上超过 Pro，比 2.5 Pro 更便宜更快。 他每周看三个指标：用它的开发者数量；生成延迟，因为生成时间越长，用户越可能放弃；以及氛围编程场景里新用户的留存。每天有几十万人第一次碰这类工具，等三分钟就跑了。 Nathan 提了个观察。他最近在 AI Studio 里用 Gemini 3 Pro 查儿科肿瘤的问题，发现它比 GPT 和 Claude 都更有主见，会直接说「去争取这个改变」，催他跟医疗团队对话。GPT 会说「这可以往两边看，团队听起来是合理的」。 Logan 的解释是：AI Studio 给的是原始模型，默认人格就是训练出来的那个人格，没有额外引导。Gemini 应用里有人设层，会做行为引导。可引导性是北极星，开发者应该能自己调。 他提了两个被低估的东西。文件搜索，目标是让人不用想 RAG，把文件丢进去就行。还有 Interactions API，有状态，同一个接口既能调模型也能调 agent。配套发了一个 Deep Research agent，HLE 上是 SOTA。 给开发者的建议：别做通用 agent builder，那儿有十几二十家公司在挤。往垂直市场和明确客群走。Wabi 就是例子，12 个月前模型能力不够，这个产品根本不可能存在。 ## Elicit：药企不缺靶点，缺的是判断 Jungwon 是 Elicit 联合创始人兼 CEO。Elicit 从非营利研究实验室 Ought 分拆，做科研文献的检索和综合，客户主要是药企。 他描述的画面有点荒诞：一边是自动化实验室、机器人跑实验，另一边科学家花几周时间琢磨往 PubMed 里输什么关键词。 他批评 GDPval。这个基准里没有科学研究这一整类。而且任务都写好了详细指令，一页纸告诉你把哪些列改成什么。现实里从来没有这种提示词。缺的是在混乱里判断任务该是什么，以及评估那些没有标准答案、只有好坏判断的任务。 他引了 OpenAI 前一天发的 Frontier Science 基准。奥赛题上前沿模型能到 70% 准确率，PhD 学生和教授日常工作里的子任务只有 25% 到 30%。样本只有 140 题，但方向清楚：教科书式推理还行，新问题不行。 药物发现这块，他的判断跟主流不太一样。靶点已经饱和，瓶颈是物理约束，你没法跑十亿个临床试验。想法已经够多，缺的是判断押哪个、为什么押。这涉及竞争格局、公司强项，是人的判断活儿。 Elicit 现在做的是输入，给研究者更快找到和综合证据。往后想往决策两头延伸。药企内部有靶点评审流程，季度会议、评分表，他们想把这套流程编码化、可扩展，让任何 AI 提的靶点建议都能用同一套标准打分，过程透明。 问到基础模型往上走会不会吃掉他们，他的回答是需要复杂人际交互、需要透明度、需要细粒度控制的工作流，基础模型做不了。聊天不是最优交互界面，文本灵活自然，但不总是高效。 ## 明年能立刻用上的几件事 明年三月盯 ARC-AGI 3，重点不在谁通关，在动作效率分。如果某个模型用比人类更少的动作通关，那才是「泛化」这个词第一次有硬证据。 持续学习先别等新架构。Opus 4.5 上就能试：让模型把一件重复的事做成工具，知识写进代码和文档，下次直接调。Zvi 说这是技能问题，我信一半，另一半看明年 Claude 5 和 GPT-6 怎么改。 做 AI 应用选垂直。Logan 和 Jungwon 从两个方向说了同一件事：通用层会被平台吃掉，判断、流程、人际交互是剩下的地盘。 给孩子买 AI 硬件之前，先等等。Eugenia 的理由值得听：成年人这边的成瘾和情感影响都还没研究明白，拿孩子做实验没有道理。 同一个问题，换三个模型问一遍。Gemini 3 Pro 在 AI Studio 里更敢给结论，GPT 更爱对冲，Claude 会反问你该不该问。这个差异本身就是信息，也是你判断哪个模型适合哪类任务的最快方法。