78% 对 71%：OpenAI 让 AI 像小学生一样「写出解题步骤」，数学和对齐一起进步

2023 年 6 月 1 日，OpenAI 发了一篇论文，《Improving Mathematical Reasoning with Process Supervision》，用过程监督改进数学推理。英伟达高级研究科学家 Jim Fan 说，这个想法简单到一条推文就能装下：对有难度的分步问题，每一步都给奖励，别只到最后才结一次账。

效果立竿见影。只看最终答案给奖励的模型，在 MATH 数据集上做对约 71% 的题；给每一步推理打分的模型，做对约 78%。7 个百分点，新的最好成绩。

真正让 AI 安全圈坐不住的，是论文里的另一句话：过程监督在提升成绩之外，还有对齐上的好处。

成绩和安全，在 AI 圈里长期被当成一道二选一的题。这篇论文说，这次可以都要。

这期节目来自 Nathaniel Whittemore 的每日播客 The AI Breakdown，2023 年 6 月 3 日上线，作为 Nathan Labenz 的 Cognitive Revolution 加更发布。Labenz 自称 AI 侦察员，天天追新发布都追不过来，所以专门向听众推荐这位每天更新 15 到 20 分钟的同行：先快速过一遍当天头条，再深挖一个话题，而且敢于说「我不知道」。这一集的主菜是上面那篇论文，配菜也很扎实，从日本版权新政到 Sam Altman 闭门会上漏出的内幕，一条条看。

快讯：日本决定不管训练数据的版权了

先看一条可能影响全局的新闻。今年早些时候，图库巨头 Getty Images 起诉 Stability AI，指控对方拿约 1200 万张自有版权图片训练 Stable Diffusion。证据一度很直观：模型输出里偶尔会冒出 Getty 的水印。

日本的新态度可能直接改写这类案子的走向。文部科学大臣在最近一次公开会议上表示，训练 AI 模型这件事，日本不执行版权法。

相关报道还不多，但意图很清楚：日本担心版权纠纷拖慢自己相对国际对手的 AI 发展，干脆先把包袱放下，抢个身位。训练数据版权这个全球吵翻天的题目，日本选择直接跳过。会不会有国家跟进，是接下来值得盯的事。

澳大利亚走了另一条路。工业与科学部长 Ed Husic 发布两份 AI 研究文件，启动为期八周的公众咨询。澳大利亚 2018 年就出过自愿性质的 AI 伦理原则，这次开始讨论硬约束。Husic 说，社区里明显担心技术跑到了前面，政府有明确的责任去识别风险并设置限制。咨询文件里列的干预选项，从自愿伦理原则、技术标准，一路排到禁令和暂停令。

还有两条轻松的。一篇叫 GPT4Tools 的研究，教 LLaMA 这类开源模型调用工具，以此获得多模态能力。多模态早就是共识，模型能在图像、文本、音频、视频之间来回切换，但只有大厂才有算力和数据，开源社区得找巧劲，GPT4Tools 用的是 LoRA 这种省算力的微调技术。潜在应用列了一串：客服机器人、内容创作、无障碍工具、数据分析。NLW 自己就是用 ChatGPT 的新分享功能加论文插件做的速读。

另一条是设计师 Bjørn Karmann 做的概念相机 Paragraphica，一台没有镜头的相机。它靠位置、天气、时间这些数据拼出一段提示词，再让 AI 生成一张「照片」。比如阿姆斯特丹 Cliffordstraat 街，正午，多云，18 度，5 月 24 日星期三，附近有停车场和瑜伽馆，然后出图。

这条推文下面的争论很有代表性。一个叫 Tariq Khan 的人质问作者：做这个的意义是什么？它让社会更好，还是更虚假、更合成？被顶到最高的回复来自另一位网友，用的是那张经典的中智梗图：中间一层写着「不行，你不能搞创作，除非你的娱乐能推动人类前进」，而最上面 0.1% 和最下面 0.1% 的人都在说「这挺好玩的」。NLW 的态度是，具体观点他不站那边，但这种争论本身该有。

OpenAI 这两周：产品、政策两头烧

主菜之前，先把 OpenAI 最近的两周过一遍，节奏快得像赶工。

产品侧最大的一件，当然是 ChatGPT 的 iOS 应用上线。上线即登顶，先在美国，几天内扩到 12 个国家，再到 152 个国家和地区。NLW 认为最惊艳的是内置的 Whisper 语音转文字，他引用 Jackson Dahl 的话：单论转写质量，Whisper 和 Siri 的差距大得难以置信，「我多年来被训练成默认转写根本不能用，Siri 就是个彻头彻尾的糟糕产品」。OpenAI 开发者关系负责人 Logan Kilpatrick 在这条推文下面回了一句：6 月 5 日之后情况会变，苹果有很多能干的人一直在琢磨这个问题，苹果是一头睡着的巨人。那天正是 WWDC 开幕。

另外两个小更新。一是对话分享链接，ChatGPT 发布半年后终于能把自己和 AI 的聊天记录甩给别人看，NLW 说自己没刻意为之就高频用上了。二是插件搜索框，NLW 前一天刚做了一期「插件是不是被高估了」，举的例子就是插件连搜索都没有，结果不到 24 小时 OpenAI 就上了搜索框。不过他试完发现，搜索只匹配插件名称和描述里的文字：搜 finance 能出十几个理财插件，搜 money 一个都出不来。改进很大，粗糙也真实。

政策侧的动作更密。Sam Altman 前脚刚在参议院首场 AI 听证会上当完明星证人，表态支持设立专门机构、用发牌照制度管住超强模型的发布，后脚就被质疑这是监管俘获。OpenAI 干脆发了篇博客《超级智能的治理》，把立场摊开：第一，领先的几个开发方需要某种程度的协调；第二，最终可能需要一个类似国际核监管机构的组织，有权检查系统、要求审计、测试合规、限制部署规模和安全等级；第三，需要更多对齐研究，以及让超级智能变得安全的技术能力。同时他们强调，对开源模型和能力阈值以下的模型，不需要繁重的监管。Altman 想管的是 GPT-5 那个级别的家伙，不是折腾 LLaMA 的爱好者。

钱也撒出去了。一周前宣布「AI 的民主输入」资助计划，10 个名额，每个 10 万美元，资助研究「AI 在什么条件下该批评公众人物」「AI 的默认人格该怎么设定」这类问题的团队，理由是没有哪个人、哪家公司、哪个国家该独占这些答案。一周后又追加 100 万美元的网络安全资助计划，目标是改变网络攻防的力量对比，候选方向包括找源代码漏洞、识别社工攻击、GPU 上的机密计算、诱捕攻击者的蜜罐技术。政府层面关注 AI 风险时，视线大多放在这类具体的网络安全问题上，回形针那种极端场景排在后面，OpenAI 在这里刷存在感并不意外。

GPU，GPU，还是 GPU

比官方公告更有信息量的，是一段小道消息。Humanloop 的 CEO Raza Habib 是最近和 Altman 闭门聊天的约 20 名开发者之一，事后把要点写了出来。

第一条就解释了英伟达为什么成了万亿美元公司：OpenAI 现在被 GPU 卡脖子，卡得很死。Habib 说，这个话题贯穿了整场讨论，很多短期计划都被它推迟或改写。客户抱怨最多的 API 速度和稳定性，直接原因就是 GPU 短缺。32K 上下文窗口没法大范围开放，ChatGPT 普通用户还卡在 8K token，能塞进去的资料被切得七零八落。微调路线也受影响，他们自己的微调方法极其吃算力，连 LoRA 和适配器这类省卡的技术都还没用上。连 GPT-4 发布时演示过的多模态能力，都要等更多 GPU 到位才能推给所有用户。

GPU 这么紧，2023 年剩下的优先级就很清楚了。Habib 列了四条：更便宜更快的 GPT，这是第一优先级，Altman 的原话是要把「智能的成本」压到尽可能低；更长的上下文窗口；微调 API；还有一个有状态 API。现在的聊天 API 每次调用都要把整段对话历史重新传一遍，同样的 token 反复付费，未来会有记住对话历史的版本。

聊天里还有几个值得记的点。有开发者担心在 OpenAI API 上创业，怕哪天 OpenAI 自己下场做竞品。Altman 回应，OpenAI 无意做 ChatGPT 之外的产品，ChatGPT 的定位是一个超级聪明的办公助手，其他 GPT 用例留给别人。他还透露在考虑开源 GPT-3，并且认为开源会是 AI 政策未来的重要一环。关于规模化，尽管网上都在说巨型模型时代结束了，Altman 明确表示 OpenAI 仍然相信更大的模型会继续带来性能提升。

最有意思的是对插件的判断。很多开发者想要 API 版的 ChatGPT 插件，Altman 说短期内不会给，因为插件除了浏览网页，还没找到产品市场契合点。Habib 转述了 Altman 的原话：

很多人以为想把自己的应用放进 ChatGPT，实际上想要的是把 ChatGPT 装进自己的应用。

一句话，把当时关于插件生态的所有争论都收拢了。

主菜：给每一步打分

现在回到论文。要解决的问题是幻觉。论文开头写道：

最先进的模型仍会犯逻辑错误，也就是常说的幻觉。缓解幻觉，是构建对齐 AGI 的关键一步。

OpenAI 用 MATH 数据集做试验田，对比两种训练方式。一种叫结果监督，模型做完一整道题，只看最终答案对不对，对了给奖励。另一种叫过程监督，推理链条上的每一步都由人打分，每步对了才给奖励。

具体做法是，拿一个基础版 GPT-4，先用少量数学数据微调，让它看懂数学语言和输出格式，然后跳过常规的强化学习，直接训练并对比两个奖励模型，一个只看结果，一个过程和结果都看。

类比很好找。这就是小学数学老师的方法：光写答案不行，要写出解题步骤。只对答案的批改，学生蒙对了你也分不清是真会还是运气；逐步批改，错在哪一步一目了然。

结果前面说过了，71% 对 78%。但论文真正的野心在别处：过程监督直接训练模型产出人类认可的思维链，等于把人类的判断缝进了推理的每个环节。

推特上一位网友 AdaPie 的总结流传很广，他说这篇论文干脆改名叫「告别回形针最大化」得了。回形针最大化是 AI 安全领域最著名的思想实验：给 AI 定一个目标，比如生产最多的回形针，它可能推演出人类是实现目标的障碍，然后出大事。AdaPie 指出的变化是，这套训练把奖励从「最终目标」部分转移到了「过程」上，AI 想拿高分，就得一步一个脚印走得干净。人类的位置也上移了一级，从直接监督模型，变成监督给模型打分的奖励模型，监督成本随之下降。他还提到，OpenAI 在 AP 化学、物理等科目上测试，过程监督模型同样占优，未来完全可以用同样的方式教 AI 人类社会的规则和法律，就像教小孩那样。

更妙的是经济账。AI 圈一直有个说法叫对齐税：更安全的方法往往意味着更差的性能，所以大家不爱用。这篇论文里，过程监督模型不但更安全，成绩还更好，OpenAI 称之为负对齐税。安全方法第一次在性能上倒赚，这会推动更多人来用，对齐的副作用会跟着扩散。过程监督还附带可解释性红利，模型每一步推理都摆在明面上，人可以逐行检查，出错时还能定位到具体哪一步走偏，调试和审计都有了抓手。

代价也说清楚。过程监督需要大量人工标注，OpenAI 这次公开的数据集是 80 万条步骤级标签，覆盖 12000 道数学题的 75000 个解答。给每一步打分，比只看答案贵得多，这是这套方法目前最大的天花板。

NLW 的收尾很克制：能让模型既变强又变安全的东西不常见，也许有些人该把自己心里那个 p（doom），也就是 AI 引发灾难的主观概率，往下调一点。

明天就能用的几件事

• 写 prompt 的时候，要求模型分步推理再下结论。这篇论文验证了方向：对步骤的约束和检查，比只盯结果更能压低错误率。验收模型输出时也一样，按步骤拆开检查，比只看最终答案更容易定位问题出在哪。
• 做 AI 应用的，先别急着挤 ChatGPT 插件生态。Altman 自己都说插件除了浏览网页还没有产品市场契合点，把 ChatGPT 的能力接进自己的应用，比把应用塞进 ChatGPT 靠谱。
• 依赖 OpenAI API 的团队，盯住两件事：有状态 API 会省掉重复传对话历史的钱，更便宜的 GPT 和微调 API 都在 2023 年的路线上。另外 GPU 短缺短期不会缓解，涉及长上下文和多模态的功能规划，留出缓冲。
• 用 ChatGPT 的，去试 iOS 版的语音输入，Whisper 的转写质量是另一个时代的产物。
• 做研究或数据标注的，OpenAI 把 80 万条步骤级人类标注放出来了，这种规模的公开人类反馈数据不多，值得直接下载来研究。

最后记一句 Altman 在闭门会上的表态：尽管所有人都在说大模型到头了，OpenAI 仍然相信更大的模型会继续变强。2023 年 6 月这个节点上，两条路同时铺着，一条往更大里走，一条往每一步都更对里走。