在模型脑子里找到傅里叶变换之后，Nathan Labenz 把“怎么用好 GPT-4”讲透了

2022 年初，OpenAI 的研究者训练了一批小模型做模加法，题目形如 (a+b) mod 113。训练前几千步，模型只会背训练集里的答案，没见过的题全军覆没。再练下去，曲线突然跳起来，没见过的题也能算对，泛化准确率逼近 100%。DeepMind 的研究者 Neel Nanda 带队把这个“开窍”的模型解剖，发现它内部自己搭了一套傅里叶变换：把数字变成波，用旋转完成加法，再转回来读出结果。没人教过它这套算法，它是训练后期自己悟出来的。

这个现象有个专门的名字，grokking，常译作“顿悟”。过程像学生刷题，前期全靠背答案，某天突然把公式想通了，换数字也会做。研究里的关键操作是权重衰减，逼着模型放弃死记，去找更省参数的解。Cognitive Revolution 主持人 Nathan Labenz 把它当作三集“AI 侦察报告”第一集的落点：大模型的理解能力真实存在，有时陌生到没人能一眼看懂，但它确实超过了死记硬背。

2023 年 7 月 19 日上线的这一集是第二部，副标题 Implementation Trends，实现趋势。第一集讲原理，这一集讲用法：手里已经有 GPT-4 这样的模型，怎么让它真正干活，怎么补上它的短板。对谈搭档是 Erik Torenberg，创业者、投资人，Turpentine 创始人，这档节目早期由两人搭档主持。原始转写把他的名字写成了 Eric，按公开资料还原回来是 Erik。

还有个细节值得交代：这一集在播客订阅源里只有几分钟的开场白，完整内容是 Nathan 挂在 YouTube 上的视频版，边讲边放演示，开场称呼听众为“周末战士”。Nathan 本人是创业者兼 AI 投资人，创办过 AI 视频公司 Waymark，每隔几周就把模型圈的新进展盘一遍，这期就是月度盘点的一部分。

第一集的底子：算法的出现只是时间问题

Nathan 的核心判断，这一集开头又重复了一遍：

“既然网络规模的数据和网络规模的算力已经存在，有人找出那个真正管用的算法，只是时间问题。”

换句话说，Transformer 在 2017 年被 Google 的八位作者写出来之前，原料早就堆在那了。整个互联网的文本、近乎无限的显卡，缺的只是那个能把这些东西消化掉的架构。那篇论文的标题后来成了行业口号：Attention Is All You Need。Transformer 恰好就是那个架构，而且一路泛化：文本、图像、音频、蛋白质结构，全都吃得上。

网络规模是什么概念？GPT-3 吃进去的训练数据约 5000 亿 token，量级上相当于一个人每天读 10 万字，连读一万多年。算力那头，训练 GPT-3 用了上万块 GPU 跑了几个月，GPT-4 的训练成本按 Sam Altman 2023 年 4 月在 MIT 活动上的说法，超过 1 亿美元。原料堆到这个量级，缺的只是配方。

第一集把零件也拆开讲过：注意力机制让每个词都能参照上下文里的所有其他词，预训练把海量文本压进参数，参数量从 GPT-1 的 1.17 亿涨到 GPT-3 的 1750 亿，两年涨了约 1500 倍。压到这一步，ChatGPT 上线两个月月活破亿，GPT-4 律师资格考试进前 10%，都是同一条曲线上的自然结果。

Nathan 强调的重点在于通用性。同一种架构，今天写诗，明天写代码，后天预测蛋白质结构，这在 AI 历史上头一次出现。他给自己定位的角色是侦察兵，替创业公司试模型、盯进展：既然底座能力会持续变强，值得做的应用，是那些模型每升级一代就跟着变好的应用。

随机鹦鹉还是真理解：这场架吵到今天

第一集最花笔墨的部分，按 Nathan 自己的说法，是“模型到底知不知道”。2021 年，Emily Bender、Timnit Gebru 等学者发过一篇著名论文，标题直译过来叫《论随机鹦鹉的危险》，把大语言模型叫“随机鹦鹉”：它只是按概率把见过的词重新拼装，谈不上理解。这篇论文后来还牵出了 Gebru 与 Google 的离职风波，而“随机鹦鹉”这个比喻在 ChatGPT 爆红之后被反复引用，成了怀疑派的旗帜。

grokking 实验给了鹦鹉论一记回马枪。模加法模型前期确实是鹦鹉，纯背题；训练继续，它突然转成泛化，而且研究者能把它的算法一步步还原出来，证明那是一条通用解，靠的并非查表。Nathan 在节目里的原话是：

“这是一种泛化，一种显然非常真实、有时甚至显得陌生的概念性理解，它肯定不只是死记硬背。”

但架没吵完。他紧接着补了下半句：

“GPT-4 这个级别的前沿模型知道很多东西，但很多情况下说不清：它们知道这些，是因为记住了统计关联、还在随机范式里打转，还是真的在概念层面顿悟了，学到了某种稳健的东西。”

第一集上线之后，每个月都有新的 grokking 增量研究出来，大家继续画那条线：模型什么时候在猜，什么时候真的懂了。这场争论有实际分量。鹦鹉论如果成立，模型能力应该随任务剧烈波动、极不稳定；顿悟论如果成立，能力会随规模和训练时间自己长出来。如果模型只是鹦鹉，做应用的人不用指望它自己变聪明；如果它会顿悟，现在的短板清单可能几个月就被划掉几条。第二集的全部内容，都建立在前一种可能性被持续削弱的前提上。

第二集换挡：给博士配齐工位、资料和工具

原理吵归吵，用归用。第二集的主线非常实用，Nathan 的原话是：

“现在的问题是，拿这些大模型能做什么，怎么克服它们的弱点，让它们真正开始为我们干有用的活。”

他把短板列得很清楚：会编造事实，知识停在训练截止日，看不到公司内部数据，上下文窗口有限，算数不可靠。一个常用的比方是，这类模型像一个刚入职的博士，智商极高，什么都会，但不认识任何同事，没读过任何内部文档，也不知道公司流程怎么走。用好它的全部思路，就是给这个博士配齐工位、资料和工具。

实现层的做法，到 2023 年夏天基本收敛成四层，一层比一层重。

• 第一层，提示工程。零样本直接问；少样本先给两三个问答范例，再出真正的问题；或者要求它一步一步想。Google 2022 年的链式思考实验里，同一个 PaLM 大模型，加了分步推理的提示之后，GSM8K 数学题的正确率从 18% 左右拉到 57% 左右。改一句话的成本是零，收益是翻倍的量级。
• 第二层，检索增强生成，业内叫 RAG。这个词 2020 年由 Facebook AI 的研究者提出，2023 年成了企业应用的默认架构。把文档切成小块，用嵌入模型转成一串坐标，意思接近的文本就住得近，“猫追老鼠”和“狗撵兔子”在坐标图上是邻居。坐标存进 Pinecone 这类向量数据库，用户提问时先检索出最相关的几段，塞进上下文，再让模型作答。一家公司有一万篇内部文档，模型训练时一篇都没见过，接上检索，它就能引用具体条款回答客服问题。思路就是开卷考试：与其逼考生背下图书馆，不如让他带着资料进场。
• 第三层，微调。用几百到几万条自己的样本，把模型的输出格式、语气、领域习惯掰过来，教它稳定输出 JSON，学会某家公司客服的说话分寸。2023 年 5 月华盛顿大学推出的 QLoRA 方法，把 65B 参数的模型塞进一块 48GB 显存的显卡里微调，成本从过去的几十万美元降到几百美元量级。
• 第四层，智能体和工具调用。ChatGPT 插件 3 月先上了车，OpenAI 在 6 月 13 日把函数调用开放给所有开发者，模型按约定格式输出参数，去查数据库、调接口；7 月 6 日，代码解释器向所有 ChatGPT Plus 用户开放，模型自己写 Python、自己跑，算数和数据分析从此不必靠“心算”。把这四层串起来的编排框架，当时最出风头的是 LangChain。

上下文窗口也在同一条曲线上狂奔。GPT-4 发布时给到 8K 和 32K 两种规格，Anthropic 的 Claude 2 在 7 月 11 日把窗口拉到 10 万 token，官方口径是能一次吞下一本长篇小说。窗口变大之后，有人问检索还有没有存在的必要，答案是有。斯坦福 2023 年 7 月的“迷失在中部”实验显示，相关信息放在长上下文的开头或结尾，模型答得好，埋在中段，准确率明显掉下来。还有一笔经济账：GPT-4 的 32K 版本，输入价格是 8K 版本的两倍，每次提问都把整个资料库塞进去，账单会先爆炸。窗口是货架，检索是理货员，两者分工，缺一不可。

四层怎么选，判断标准一句话：先问缺的是知识还是格式。缺知识，上检索；缺格式和语气，再微调；两者都缺，就都上；要连动作都代办，才轮到智能体。这套分层还有个好处，每层都能单独验证。提示词改坏了，考卷分数立刻掉；检索源加错了，答案立刻跑偏。Nathan 在报告里反复用同一批演示任务对比新旧模型和新旧方法，办法笨，但每一步都看得见。

几个反直觉的地方

第一，微调往往是最不该先做的事。很多团队一上来就想把内部文档灌进模型，重新训练一遍。2023 年夏天实现层的共识已经很清楚：知识缺口用检索补，格式和语气才轮到微调。把知识问题当成微调问题，等于花钱让博士把公司文档背下来，而他明明可以随时翻档案，这钱花得冤枉。

第二，智能体的演示和产品之间隔着一条沟。AutoGPT 在 2023 年 3 月底开源，几周内成了 GitHub 涨速最快的仓库之一，演示里它自己给自己下指令、自己上网查资料，看得人心潮澎湃。真用起来是另一回事：每一步 95% 的可靠率，连跑十步，整体成功率只剩六成左右，误差像多米诺一样往前传。同期的 BabyAGI 也一样，演示惊艳，生产环境没人敢上。函数调用和代码解释器这种“单步工具”先成了生产力，全自动智能体反而退回实验室，原因就在这。

第三，开源没有掉队。这期节目上线前一天，Meta 刚放出 Llama 2，7B 到 70B 三个规格，明确允许商用，条件只有月活不超过 7 亿。往前数不到五个月，Meta 第一代 Llama 的权重泄漏到网上，斯坦福用不到 600 美元就微调出了指令版 Alpaca。闭源模型领先，开源模型隔几个月追上来一次，这个节奏在 2023 年夏天已经定型，选型的人必须两头都看。

第四，随机鹦鹉和真理解可能同时住在同一个模型里。会推傅里叶变换的那个架构，也会在法庭文件里编造不存在的判例。2023 年 6 月，纽约律师 Steven Schwartz 用 ChatGPT 找判例，状纸里引用了六个查无此案的案例，法官罚了他 5000 美元。Nathan 的立场是，grokking 的证据每个月都在增加，长期看泛化会赢；短期做产品，必须按“它随时可能一本正经地胡说”来设计流程。

明天就能用的五件事

这一集的实用价值在于把选择顺序讲清楚了。普通用户和开发者明天就能照着做：

• 先喂上下文再提问。把相关资料直接贴进提示词，或者接一个向量检索。默认模型什么都不知道，别让它裸答专业问题。
• 复杂任务要求分步。加一句“先列计划，再逐步执行，每步给出依据”，输出质量立刻不一样。
• 算数和数据处理交给工具。让模型写代码去跑，或者直接用代码解释器，别让它心算三位数乘法。
• 建一张自己的小考卷。挑 20 个真实任务固定下来当评测集，每次改提示词都重跑一遍看分数，凭感觉调提示词是这一行最大的时间黑洞。
• 每月复测一次。模型三个月换一代，同一张考卷重跑，进步和退化都藏不住，Nathan 的侦察报告用的就是这套笨办法。

三集侦察报告的结构，第一集回答“它为什么会”，第二集回答“怎么用它”，第三集留给未来。Nathan 的判断从头到尾没变过：数据和算力到位之后，算法的出现是必然，模型的顿悟是真实存在的，剩下的瓶颈在用法。第二集没有下结论，给的是一张清单，这恰恰是它比大多数 AI 评论有用的地方。每个月都有新的 grokking 研究出来，也每个月都有新的实现工具冒头，把上面这张清单过一遍，比争论机器有没有灵魂有用得多。