一个模型装进38款产品：PaLM 2负责人揭秘谷歌大模型训练内幕

2023年5月，谷歌I/O大会，PaLM 2正式亮相。和以往不一样的地方在于，它登台时已经装进了超过25款产品和功能。观众还在台下听演讲，手机里的谷歌服务可能已经悄悄换上了新引擎。三个月后，Paige Bailey在Cognitive Revolution播客里被问到最新数字，她的回答是：肯定超过38款产品和功能。

发布一个模型，和发布一个已经铺满自家产品线的模型，难度完全不同。后者要求模型在亮相之前，就通过几十个团队各自的检验。Paige说，这在Alphabet历史上是头一回。

Paige Bailey是PaLM 2的首席产品经理。转产品岗之前，她在Google Brain做工程，再往前，在GitHub参与过Copilot最早期的内部测试。她2009年就动手写过机器学习模型，如今每天依然写代码，用她自己的话说，一天不碰代码会很难受。

主持人Nathan Labenz本人是GPT-4红队成员，也是AI投资人。他的开场问题很直接：一家拥有全球最多数据、算力和算法专家的公司，机会最多，可失去的也最多，还在全力冲刺发布AI。在这样的公司里牵头一个核心模型项目，到底是一种什么体验？

训练大模型，像一次阿波罗计划

先交代一个背景。访谈前后，Alphabet刚把Google Brain和DeepMind合并成Google DeepMind。此前Brain隶属Google Research，DeepMind在Demis Hassabis带领下做出过AlphaGo、AlphaFold这些登上《自然》杂志的成果，合并由Sergey Brin和Alphabet高层拍板。Paige的观察是，过去几个月，原本被组织架构隔开的研究者之间，自发长出了几十个合作项目。她称这是Alphabet能为研究团队做的最好的事。

再说算力。训练PaLM 2对应一笔巨大的计算资源分配，Paige和团队得说服Alphabet内部许多团队点头，批准TPU的使用。这本身就是产品工作的一部分：模型必须能被尽量多的团队同时用起来，不能有合规隐患，不能在数据上留下黏性。

这条产品线有清晰的族谱：BERT、第一代PaLM、PaLM 2，再到正在推进的Gemini，技术报告在g.co/palm2就能查到。谷歌发布生成式模型的历史很长，但Paige强调，宣布时已有二十多个部署，这是第一次。她回忆谷歌CEO Sundar Pichai站在台上的那一刻：这个模型存在，而且它已经在二十多个产品和功能里，恭喜，你正在使用它。团队觉得前所未有的提气。

时间线能感受节奏。第一代PaLM的论文2022年4月发布，PaLM 2在2023年5月官宣。中间这一年，团队要定下一代模型长什么样、数据集扩多少、补什么料；要做实验，确认那次巨型训练能成；要说服各方批下算力；要定模型尺寸；要做指令微调；还要帮各产品线完成部署。

Paige用了一个类比概括这件事的体量：

训练这类模型，感觉非常像参与阿波罗计划。你不仅需要海量算力、海量数据，还需要一支在各个领域都有深厚专长的团队，才能把事情有效做成。

她给自己的定位很清楚。技术方向有各个工作流的技术负责人把关，定任务、盯进度、审代码，偶尔她也审。她的日常是协调所有团队朝同一个方向走。举个例子，某个团队刚设计出一套评测题，她要确保这些题没混进预训练数据，不然等于泄题。另外就是贴着最新的模型checkpoint反复测试，确认所有想提升的指标都在涨。

大模型产品经理的日常清单

很多人对产品经理的想象停留在「决定按钮放哪」。Paige说，她做不了那种PM，只做得来技术产品。语言模型PM的工作横跨一整条链路：

• 预训练数据混合：既要过合规，又要预判模型下游会怎么被使用，把能回应用户提问的数据提前揉进预训练。
• 评测：从负责任AI评测到能力评测，代码生成得好不好、解释得清不清楚、能不能检测安全漏洞、会不会解数学题，全都要测。
• 指令微调：让模型从「给几个示例才答得好」变成「零样本直接答好」。
• 部署：不同尺寸的模型对应不同的延迟约束，这直接决定下游怎么用。
• RLHF和RLAIF：靠人类反馈或AI反馈，持续增量改进模型。

行为定义这件事，谷歌的做法是分层。团队先做一个通用的、指令微调过的基础模型，尽量覆盖宽泛的场景。然后每个产品团队自己定义模型的人设：Bard有一个面向用户的人设，IDE里的代码助手是另一副面孔，Med-PaLM这类领域模型又不一样。Paige强调，定义模型行为和指令微调，是如今基础模型团队工作量最大的事情之一。对齐研究同样如此，她特别提到喜欢读Anthropic的对齐论文。

被质疑「不会发布产品」，和一次Copilot引发的顿悟

Nathan把外界的质疑摆上台面：ChatGPT火了之后，都说谷歌丧失了发布能力，官僚僵化。Paige的回应是，这个叙事一直被夸大。谷歌一直在发布，只是Photos里的功能、Gmail的更新、搜索算法的改进，终端用户不会立刻感知到。Nathan补充了一个观察：舆论其实自相矛盾，一边说谷歌不发布产品，一边又吐槽谷歌一口气做了三个聊天应用。

Nathan还替谷歌补了一个更根本的理由：ChatGPT之前的模型，比如GPT-2，说实话没什么实际用处，当研究标本可以，塞进产品里反而奇怪。这项技术是最近才真正变得有用的，谷歌没赶上第一批，谈不上掉队。

Paige接着给出技术视角的解释。PaLM 2和GPT-3之后各版本被快速采用，关键之一是服务效率和蒸馏技术的进步：把一个几千亿参数模型的性能，压进一个两百亿参数上下的模型。她更在意这件事的另一层含义：

我们不希望走到这样一个世界：只有付得起加速器溢价的人，才用得上这些强大的工具。我们应该找到办法，让模型足够强大，同时足迹足够小，能跑在CPU上，或者单张加速器就能高效服务。

Nathan接话，Chinchilla缩放定律之后，这条效率曲线一直在改善，至少目前还没停。

那她自己的「闪电时刻」呢？发生在GitHub时期。当时她在测Copilot最早期的版本。市面上已有代码补全工具：IntelliCode在C#和.NET上表现不错；Tabnine底层是GPT-2。这些工具能给一到三行补全，效果时好时坏。然后Copilot开箱的表现把她看呆了：五六七行连续、切题、质量在线的代码直接吐出来，甚至用自然语言让它规划一个旧金山周末行程，它也能安排明白。她当场意识到，这会改变开发者的一切。

从那一刻起，她给自己定了方向：这辈子就想做模型，把代码生成和数学生成做到极致。代码和数学，是她认定的最能推动生成式模型进步的两样东西。后面会看到，这个判断在谷歌内部拿到了数据支撑。

身在Alphabet内部是什么体感？Paige的形容是「活在未来」。你早上醒来，发现某个版本的模型，在某个大家以为一年半之后才可能达到人类水平的任务上，提前越线了。下一个会上，又看到换个方法评测涨了10个百分点，RLHF带来25%的提升。她形容从2022年12月起，这场马拉松就一直是冲刺状态。「我一点都不觉得累，我太兴奋了。」

聊到和GPT-4、Claude 2、Llama 2的比较，Paige的态度是，所有人都在做漂亮的工作，她反而对Llama 2这类开源模型特别兴奋，因为可以做继续预训练，做REST API给不了的深度优化。谷歌自己的重心，是持续改进数据集、探索RL技术，以及造更大的Gemini。她透露了一句关键信息：PaLM 2是文本加代码的模型，Gemini从第一天起就是多模态的，是PaLM 2能力的超集。Nathan的总结很淡定：谁在哪个榜单上暂时领先，放到2025年回看，都会变成历史脚注。

推理还是背题？换块积木试试就知道

这是整期节目信息量最大的部分。Nathan问了一个业内悬而未决的问题：模型的推理能力，到底是真推理，还是高级的模式匹配？

Paige推荐了最近ICML的一个推理工作坊，里面有Samy Bengio等人参与的一场圆桌，还有一场题为「Avenging Pugliani's Revenge」的演讲。她给出的证据很具体。经典的积木推理题：架子上五块积木，按要求移动，模型答得不错。但只要把积木换成奶酪和苹果，把「移动」的说法改一改，模型立刻崩掉。

它根本没学会推理，只是学会了模式匹配，匹配的是训练时爬过的那些网页里的套路。

她打了个应试教育的比方。这类推理题的出题格式高度固定，像SAT或ACT，同样的句式、同样的实体。就像有人靠刷题成为考试高手，模型也刷成了「看起来会推理」的样子。一旦题目换了皮，原形毕露。判断模型是否真会推理，一个实用方法就是换皮测试：保留题目逻辑，替换全部实体和动词，看它还答不答得对。

那场演讲里还有个更扎心的发现：有些论文里，模型是在研究生反复纠偏之后才答对推理题的。作者由此提出，模型的能力上限，受限于提问的研究生知道多少。研究生会做的题，模型被一路掰到正确答案；研究生不会的，模型也到不了。这算不上推理，只是人工导航。

但硬币有另一面。模型经常在发布后暴露出没人预料到的能力。Bard接入Lens功能后，有人手绘了一张网站设计草图，拍照喂进去，让它生成这个网站的代码，成了。Paige说，团队上线Lens时，压根没想过它能看图写网站。还有个例子：团队工程师Rohan Anil让模型生成一段代码，再逐行用马拉雅拉姆语解释每行代码，模型做到了。多语言能力是PaLM 2的标配，但没人想到能这么用。

由此Paige向所有人发出邀请：全世界的研究人员都盯着社交媒体，看大家晒出模型的极限玩法。你的每个发现，都会变成改进模型、设计评测、调整指令微调、补充训练数据的依据。Nathan补了一句：现在哪怕只有一个对话界面加一点代码，普通人也能做出对全局理解有实际贡献的发现。

至于模型内部到底发生了什么，Paige坦承自己不是可解释性专家，没人有确定答案。她提到Anthropic最近的论文，已经能看到语料或上下文窗口里哪些词、什么位置的词，对模型的决策影响最大，但放大到生产规模就非常难。她的总结很实在：连Dario Amodei都说问题比答案多。谁要是宣称把大模型全想明白了，多半是看的地方还不够多。

下一个突破：执行反馈和代码数据红利

Paige目前在Google DeepMind驱动的一个项目是CodeAI，集合了150多位研究人员和工程师，覆盖代码生成、代码解释、安全漏洞检测、自动性能修复、源码迁移，以及生成代码去动态调用工具和API，目标是那种通用自主智能体：给它一个高层任务，它拆解成步骤，再拼接代码去完成，还能给自己派新任务。

落到产品上，有几个可以今天就去试的：

• Codey：PaLM 2在大量源码上继续预训练的版本，通过GCP提供API，适合代码补全、解释、问答。
• Duet AI for developers：覆盖GCP全线，IDE里生成代码、检测安全漏洞、分析日志、辅助DevOps、云控制台自动补全和问答、自动生成架构模式。
• Med-PaLM：医疗领域模型，团队展示了生物科学的巨大空间。
• CoLab：Codey API已接入，Pro+用户可用代码生成、补全、问答，错误修复在路上。

Nathan插了一个自己的判断：所有云平台都庞大到没人能摸透，新人一头扎进Google Cloud只会晕头转向。越是臃肿复杂的产品，越受益于AI导航层，因为它能温柔地把你领到该去的地方。

技术路线上，Paige最兴奋的是执行反馈（execution feedback）。流程是这样的：让模型根据高层问题生成代码，先用静态分析工具或另一个模型检查代码是否有效，然后真的跑一遍，验证输出是否完成任务，没完成就把错误递归喂回去，修完再跑，直到通过。相当于给模型配了个不知疲倦的质检员，编译器和运行结果就是质检报告。关键在于，反馈不只来自人类，还来自编译器和执行结果。这些「模型生成加执行反馈」的实例攒多了，还能直接变成下一轮训练数据。

这是获得真正强大系统的唯一途径。

还有一条被低估的红利。Codey的继续预训练带来了意外收获：预训练数据里源代码和数学数据加得越多，模型不光代码变强，数学、逻辑甚至自然语言能力全都跟着涨。Paige建议所有做继续预训练的人认真测试：如果某类数据或某种数据质量显著影响下游评测，就该在预训练混合里大幅加权。

至于transformer会不会被替代，她的回答是：「我不会对看到transformer的后继者感到惊讶。」Alphabet内外很多聪明人都在琢磨这件事，她特别点了Noam Shazeer和Character AI团队的名字。

明天就能用的四件事

这期访谈聊的是谷歌内部视角，但拆出来的方法对普通使用者和开发者同样有效：

• 用换皮测试验模型。把经典推理题的实体和动词全部替换，奶酪换积木，地板换架子。答对了才是真推理，答崩了就是背题。选模型、写评测时都用得上。
• 往训练数据里加代码和数学。哪怕你的目标领域和编程毫无关系，Paige在谷歌内部观察到的规律是，这两类数据会整体抬升模型表现。做微调的人值得立刻实验。
• 给模型接上执行反馈。别只对模型说「再想想」，让它写完代码就真跑一遍，把报错原文贴回去，循环修到通过。这是目前最便宜的可靠性提升手段。
• 把你的发现发出来。研究团队真的在逐条刷社交媒体上的模型演示，你晒出的一个意外能力，可能就进了下一代模型的训练数据和评测集。

Paige在节目里的状态，可能是对2023年这个行业最好的注脚：从去年12月冲刺到现在，所有人都该累了，但她只觉得兴奋。用她的话说，做计算机科学的人，从没赶上过比这更有意思的时代。