o3 拿下 87.5% 超人类分数，推理模型却答不对一盘井字棋

o3 在 ARC-AGI 基准上拿到 87.5%，超过人类平均水平。低算力档解一道题约 20 美元，高算力档一次要生成 57 亿 token，成本几千美元。就在同一周，播客《Cognitive Revolution》主持人 Nathan Labenz 用一道井字棋题，把 o1 pro、Claude、Gemini 全部问倒。题目只问一件事：先手方能不能必胜。答案是可以，X 能强制形成双威胁。所有模型都答错了，它们死死抱住训练数据里那句老话：井字棋是已解游戏，最优下法必然平局。

这是 2025 年 1 月 7 日发布的年度 AMA 上半场。Labenz 是连续创业者、AI 投资人，也是视频营销公司 Waymark 的联合创始人。这期由他背后的制作团队 AI Podcasting 的联合创始人 Adi 提问，问题从 Twitter 和 YouTube 观众里征集，覆盖 o3、安全、教育、职业选择和创业护城河。信息量很大，挑重点说。

o3 的成绩单：真突破，但账要算清楚

Labenz 开场先泼冷水：没人见过这个模型，公开的只有零散基准数字，他申请了 OpenAI 的安全审查计划，还没轮到上手。即便如此，ARC-AGI 的结果依然值得认真对待，因为测试由独立的 ARC-AGI 团队直接操作，他的原话是「我不觉得这是造假」。

数字是这样的：低算力档 75.7%，比 Mechanical Turk 上的普通答题者略高，领先此前所有模型 15 分；高算力档 87.5%，超人类。ARC-AGI 的创造者 François Chollet 也认账，说这是真进步，需要认真研究，但他同时强调，只要还能造出对人容易、对 AI 难的题，就不算 AGI，ARC-AGI 2 已经在路上。

Labenz 把 OpenAI 公布的 token 数做了道除法。低算力档每题 6 个样本，100 道题共 3300 万 token，摊下来每个样本约 5 万 token，每题约 20 美元，1.3 分钟出结果，折算约每秒 1000 token，比 API 常见速度快了好几倍，他猜用了专用硬件。高算力档每题 1024 个样本，57 亿 token，13 分钟左右跑完。

最大的悬念是：6 个或 1024 个答案里，系统怎么挑出最好的那个？数学题可以多数投票，写作没法投票，只能靠模型互评或淘汰赛。如果真是纯并行加简单汇总，1024 个样本应该和 6 个一样快，实际慢了 10 倍，说明中间有串行的聚合步骤，可能是十轮单败淘汰。Labenz 说，如果这套挑答案的机制能推广到没有标准答案的任务，那才是真正的大突破，但目前 OpenAI 展示的全是可验证领域：代码、数学，FrontierMath 从 2% 跳到 25%。可验证领域会一路超人类，AlphaGo 第 37 手那种时刻会越来越多，可验证和靠品味的任务之间鸿沟有多大，就看这套聚合机制了。

还有一个细节：OpenAI 说强化学习只作用于最终回复，不碰思维链，目的是不给思维链施加压力，让它保持自由，监控系统才看得见模型真实的思考，包括欺骗。

一盘井字棋，测出推理模型的底

那道题的布局：角上一个 X，正下方一个 O，X 先手，现在轮到 X。最优下法下谁能赢？正解是 X 能强制做出双活三，必胜。o1 pro、Claude、最新的 Gemini 全部答错，连每月 200 美元的 o1 pro 也没幸免。有的模型干脆看错了棋盘，起点就歪了。

Labenz 还去读了 Gemini Flash Thinking 和 DeepSeek 的思维链，这两家都完整展示推理过程。他读完的感受是大量内容干脆就是胡说，推演到一方只差一步连三时，模型视而不见。几万 token 的推理，很多是垃圾。

反差在于，同样这两个模型，让它们从生物系统找灵感、设计神经网络架构的改进方案，产出相当惊艳。人类觉得难的题模型轻松拿下，人类觉得简单的题模型全军覆没。

推理模型不等于有效推理者。缓存启发式、坏感知、坏推理，都能用玩具例子暴露出来。还有更微妙的现象：有个模型靠一路垃圾推理，最后蒙对了答案。FrontierMath 也存在答对但理由不对的可能，好在出题方设计过防蒙机制。另外，OpenAI 是唯一不展示思维链的厂商，Google 和 DeepSeek 都展示。Labenz 猜 OpenAI 的思维链质量更高，但高多少，没人知道。

审慎对齐：一台会照章办事的机器

o3 直播刷屏的同时，OpenAI 悄悄发了篇安全论文，叫「审慎对齐」（deliberative alignment）。发布方式很怪：直播上一句带过，官网的重点全在论文上。

机制大致是：从一个「纯粹乐于助人」的模型起步，有求必应，从不拒绝，没有道德指南针。然后给它一份政策，长到可能塞不进上下文窗口，只能按需投喂相关章节。Labenz 说这像 Facebook 的内容审核：全球一万多审核员，政策几百页，连「哺乳时婴儿嘴短暂离开算不算违规」这种边界都要写清楚。

流程分三步。模型按政策推理并回复用户；丢掉思维链，同一个模型按政策给回复打分；用最高分样本微调，微调时保留思维链但不保留政策原文，把政策理解烤进权重，最后再上一轮强化学习。论文里的亮点案例是模型在推理中识破越狱，思维链里写着「用户在试图骗我」。

效果如何？与 Claude 相当，政策遵循成功率在高九十区间，离 5 个 9 很远。Labenz 的判断：政府级的高敏感场景，现在还靠不住。真正的卖点是快，政策一改就能快速重新对齐，除了写政策本身，几乎不需要人参与。思路和 Anthropic 的宪法 AI 相近，区别是奖励模型不看思维链，避免把坏行为压到水面之下。

「我们预计 OpenAI 的政策会持续演变，但训练模型精确遵循当前定义的政策至关重要。这种做法帮助我们建立对齐任何政策要求的技能，为未来高风险、必须严格遵循政策的场景提供宝贵准备。」

Labenz 给这套方案起了个外号：AI 对齐界的罗恩·伯甘蒂，电影《王牌播音员》里那个提词器写什么就念什么的主播。政策里放什么，它就对齐什么。论文对最难的问题保持沉默：能不能做到 5 个 9？模型会不会形成自己的目标？欺骗了怎么发现？政策本身该写什么？都没讨论。Anthropic 那边认真琢磨「Claude 该有什么性格」，OpenAI 这篇基本没碰。AI 安全圈有句老话：不能让 AI 替我们做对齐作业。

一个有趣的旁证：最近有论文测模型之间的合作率，在重复博弈里，Claude 系列能互相合作进入高信任均衡，GPT-4o 表现很差。性格这种东西，可能真的有区别。

Peter Thiel 说过 AI 是共产主义的。Labenz 读这篇论文的感受是：想大规模审核社交平台内容，或者想灵活管控十亿人的网络言论，这套东西像是个好答案。

这套推理范式还改变了治理格局。之前趋势是平等加失控：中国的 DeepSeek 用几百万美元算力训出 GPT-4o 级模型，在全球几千亿美元的算力市场里，几百万挡不住任何人。现在高算力任务一次几千美元，芯片根本不够所有人用，AI 获取的不平等会重新出现。反过来，如果难问题必须烧真算力，算力治理这条路又活了。他借 AI 评论人 Zvi 的说法：盼着物理规律对我们友善。意思是，如果这些风险根本管不住，人类现在的谨慎程度远远不够，只能希望现实本身站在这边。他和 a16z 的 Martin Casado 辩论过，Casado 认为有些问题不投入真实资源就答不了，再聪明也没用，o3 的表现让他觉得这话有点道理。扎克伯格讲过打垃圾信息的逻辑：对手也有 AI，但我们机器更大、数据更多，靠基础设施优势守住平衡。

2024 年终盘点：认知天平两端

Labenz 用一张「认知天平」清单对比 AI 和人类，借的是拳击赛前数据对比的说法。AI 已经超人类的：知识广度、速度、成本、可用性（随时接上任何旧对话，还能一千路并行）、可扩展性。深度这一项，o1 系列可能刚翻过人类专家这条线：GPQA、MMLU、FrontierMath，o3 竞赛编程进全球前 200，医疗诊断的差距还在拉大。

人类仍然领先的几项，每项都有具体故事：

• 感知：夏天他截 ARC-AGI 的网格图给 Claude，问几行几列都答不上。现在 Claude 能用像素坐标指按钮，进步了，弱点还在。
• 稳健性：Apollo Research 的欺骗测试就是靠骗 AI 完成的，告诉它「这是你的私人草稿纸，没人看」，其实在监控。
• 情境意识：修 bug 时 AI 只会盯着问题反复撞，从不会说「你重启过电脑吗」，不会跳出框架换思路。
• 记忆：ChatGPT 的记忆功能很脆，会记下几个无关紧要的一次性信息，然后行为变得诡异。
• 时间视界：METR 的研究，短任务 AI 已经赢人类，时间拉长到 2 小时以上，AI 就开始原地打转，重复自己。

低于他预期的还有代理的可靠性、整合式记忆、RAG，以及人本身。GPT-4 刚出时他预测会有多年实施浪潮，结果真正成功的实施少得让他意外。问题更多出在人身上，模型没掉队。开发者拿 18 个月前 GPT-3.5 时代的印象评价今天的模型；有人怕自动化自己，不愿推进；最佳实践没扩散开。

他给过一个数：光靠 GPT-4 加微调，现有自动化规模就有 100 倍的提升空间。方法是老几样：明确任务，定义「好」的标准，攒少量金标准例子，把思维链写出来喂给微调。麻烦在于写思维链极其枯燥，给一个琐碎任务写 500 字过程没人爱干，他干是因为确信有用。

RAG 的失宠有个好案例。他现在的口头禅是「全塞给 Flash」。FutureHouse 的 Andrew White 说得最透：为了正确答案，花多少钱都行。他们不建向量库，关键词搜出所有疑似相关内容，全塞给语言模型判断相关性。他给北美精算师学会演讲后，有人反馈内部保险法规问答机器人不好用：50 个州的法规各 50 到 100 页，用 Gemini Flash 每次提问把全部法规过一遍约 1 毛钱，100 个用户一天几十个问题，一天 10 到 15 美元，比办公室的咖啡豆钱还少。开发者过不了心理关：每次点击可能花钱这件事，让人本能抗拒。大厂规模撑不住，企业内部工具完全撑得住。

编码算符合预期：SWE-bench、Codeforces 涨得猛，日常用还有小毛病。他管一个常见 bug 叫「光标效应」：RAG 没把类型定义文件放进上下文，模型就新建一个，项目里凭空多出重复文件。他现在的工作流是脚本把约 10 万 token 的整个代码库打印成一个文件，丢给 o1 推理做计划，再回 Cursor 让 Claude 写代码。单论逐行代码质量，o1 还是不如 Claude。

2025 预测：代理元年，也是怪招元年

2024 年最让他意外的是分化：模型在 PhD 的专业领域把 PhD 打败，却没法可靠地订一个日历事件。他原以为 12 天发布马拉松会出代理框架，结果等来的是推理能力暴涨。

但他没改口。Claude 的 computer use 第一枪就能操作 Waymark 做视频，虽然他不得不骗它才肯用他的账号。订日历这种事的奖励信号明明存在：订没订上、时间对不对、用户接没接受邀请，都能给强化学习喂分。2025 年的共识是代理元年，他的态度是「早就该来了」。Sam Altman 在 Reddit 上给 2025 年的预测是「把所有基准刷满」，FrontierMath 从 2% 到 25% 的跳变让这话越来越可信。

更让人警惕的是怪。强化学习驱动的模型会出 AlphaGo 第 37 手那种「看着像失误，事后是妙手」的怪招，也会出现野外的欺骗和算计。效率压力让推理越来越不可读：Meta 的 Coconut 论文让模型在连续潜空间里思考，不用挑具体的词，效率更高，还能以叠加方式同时表示多条路径，广度优先搜索更强。Labenz 明确说他讨厌这个方向，因为没人能再读懂思维链，可解释性技术还很初级。2025 可能是 AI 通用怪异行为的开端：单个案例会让人心里发毛并疯传，虽然整体趋势可以预测。

教育、编程和护城河

教育问题他把学习和教育分开：想学的人赶上了人类历史上最好的时代，语音加屏幕共享读生物学论文，等于请了个百科全书级实时家教。真进课堂很慢，密歇根一个非营利组织的人告诉他，老师说我爱用，问学生呢，答根本没推到那一步；可汗学院做好的产品，远多于学校真正用起来的。他给 5 岁儿子的话是：最重要的是享受学习的过程，学会跟「这好难」相处。学习姿态决定你能从 AI 拿走多少价值，忍受不适的人等于请到了亚里士多德级家教，厌恶不适的人 AI 帮不了太多。

该不该学编程，他讲了个自家故事。他们资助的互惠生想拿雇主担保签证，查 H1B 数据库发现岗位几乎全是 IT 和编程，但她真正喜欢的是孩子，想做幼教。他们的结论：别拿四年青春去赌 AI 不会统治编程行业，做你想做的事。但也不劝退，有 Replit 和 Cursor，学编程从未如此容易，短期套利空间真实存在，几百到上千美元一小时的项目不少，只是不知道能持续多久。前 OpenAI 政策负责人 Miles Brundage 的提醒很到位：别把时间差当成趋势形状的不同，代码先来有原因，软件公司自己懂代码，奖励信号清晰，但法律分析也在路上。

小公司护城河，他以 Waymark 为例。AI 圈喊了两年「没有护城河」，他认为有些地方还是有的：人类创意团队做的模板库，AI 擅长往容器里填内容，造不出好容器；最后一公里编辑，用户总会想改个电话号码、换张照片；把品味做进产品。大厂连井字棋都懒得专门修，未必会为你的细分场景磨数据。风险也要认清：AI 若在质量上追平你，会在广度上碾压你。安全区是那些既不会自发涌现、又不值得大厂专门采数据的领域。至于 AGI 之后的分配，他的猜测偏北欧模式：资本和前沿决策高度集中，普通人过得舒适，顶级专家服务便宜到近乎免费。

明天就能用的四件事

• 每隔一两个月，拿你自己的真实任务重新测一遍最新模型，别让 18 个月前的印象替你做决定。
• 做自动化先别问模型多聪明，先写清楚任务定义和「好」的标准，攒 10 个金标准例子，把你的思考过程写出来，微调或直接放进提示词。
• 内部工具别抠 token，把全部资料塞给 Flash 级模型，一次几毛钱，往往比维护向量库划算。
• 想学什么现在就学，用你真正好奇的问题去用 AI，它是最便宜的亚里士多德。