AI 球探报告第一部：90 分钟，从 GPT-4 考分讲到模型到底懂不懂

2023 年 7 月 6 日，Cognitive Revolution(认知革命)播客换了玩法：主持人 Nathan Labenz 没请任何嘉宾，自己一个人讲了 90 分钟。这期节目叫 AI Scouting Report,直译「AI 球探报告」，2023 年 6 月版，三部曲的第一部。

Labenz 的身份有两个：创业者，AI 投资人。他曾长期担任 AI 视频公司 Waymark 的 CEO,过去两年以近乎偏执的强度追 AI 领域，论文、产品发布、模型评测，能看的都看，平时还接企业的 AI 顾问工作。这期节目，是他把两年积累摊开在桌面上的一次尝试。

他给自己定的目标，听起来低得有点谦虚：听完这期，你能达到高中 AP 课程水平的机器学习理解。

「如果你们带着相当于高中 AP 课的机器学习基础离开，我就认为这是巨大的成功。」

同一期节目里还藏着一个更扎眼的数字：一位在菲律宾远程工作的行政助理，两年里为一家美国公司微调并验证了 100 多个定制 AI 模型。理论上的基本功，实践中的真实用法，这期节目各讲了一条线。

为什么要做球探报告：从每天的新闻里跳出来

2023 年上半年，AI 新闻的密度高到离谱。3 月 14 日 GPT-4 发布，之后各家大模型轮番上新，融资、裁员、开源、国会听证，几乎每天一个新话题。Labenz 的判断是，这种节奏对理解 AI 没帮助，反而有害。

「AI 球探报告，是我从日常 AI 新闻和炒作中跳出来的一次尝试，帮你聚焦真正重要的事。」

「球探」这个词选得讲究。球探评估球员，看的从来都是长期数据和底层素质，单场集锦只是辅助。他做的事一样：绕开单条新闻，评估 AI 这位「球员」的真实实力、成长曲线和短板。报告的原料，是他两年里的研究积累：把最重要的概念和趋势做综合，让听众能带着新的理解力，去看 AI 研究、产品和公共讨论。这个形式他打算定期做下去，这是第一期。

形式上有个限制：报告只在 YouTube 发布，播客端只放简短音频预告。原因是 Labenz 精选了一批他见过的最好的图表、插图和数据图，要把它们讲到给观众留下印象。90 分钟讲完机器学习基础，他自己都说雄心不小，视觉辅助省不掉。

第一部的内容框架，开头就交代了四块：当前通用 AI 能力的总体摘要；现代 AI 怎么设计和训练；几次大的能力解锁；模型到底怎么工作、真正理解了什么。即将推出的第二部，讲 AI 与真实世界的接口。

为什么把标准定在「高中 AP 水平」？背后的逻辑值得琢磨：他的听众里有创业者、投资人、准备转型的从业者，AP 水平意味着能看懂行业讨论、能问出对的问题，做判断够用了。更关键的一点，新闻以天为单位过时，基本功以年为单位稳定。把有限的学习时间投给不变的东西，是这份报告最核心的方法论。

第一部的主线：能力、训练、解锁、理解

先说能力摘要。2023 年年中的通用模型，到底什么水平？报告用基准成绩定锚。GPT-4 在 3 月发布时，统一律师资格考试排在所有考生前 10%,AP 生物拿到满分 5 分。这些考试本来为人类设计，模型没有针对性题库，考的就是通用能力。前一代 ChatGPT 在 2022 年 11 月 30 日上线，两个月月活破亿，是当时史上增长最快的消费级应用。把成绩单放在最前面，是给后面所有讨论立一个共同的事实基础。

再说训练。现代大模型的基本套路，报告拆成了几步。

第一步，预训练。把海量互联网文本喂给模型，任务只有一个：预测下一个词。你手机输入法每打一个字都在做同样的事，区别是模型在互联网级文本上做，而且做得深得多。要把下一个词预测准，模型必须掌握语法、事实、逻辑，甚至推理模式。支撑这一切的架构叫 Transformer,出自 Google 2017 年的论文《Attention Is All You Need》,今天几乎所有主流大模型都建在它上面。

第二步，扩规模。OpenAI 2020 年发表规模定律研究：模型表现随参数量、数据量、算力的增加，按可预测的方式提升，投入翻倍，能力就稳定上一级台阶。这有点像健身，训练量上去了，力量增长基本可以预期，AI 研究第一次有了工程学的味道。DeepMind 2022 年的 Chinchilla 研究又补了关键一刀：此前的大模型普遍「吃」的数据不够，同等算力下，数据量必须跟上参数量。支撑这种思路的，还有强化学习元老 Rich Sutton 那篇著名的《苦涩的教训》：靠算力和数据的通用方法，长期总会赢过精巧的人工设计。能力提升可以像排产计划一样预测，这是过去几年 AI 狂飙的底层逻辑。

规模这条路上，2020 年的 GPT-3 是个里程碑：1750 亿参数，展示了一种叫上下文学习的能力。不改权重、不做训练，只在提示里给几个例子，模型就能照猫画虎完成新任务。这个特性，后来成了所有大模型产品的交互基础。

第三步，对齐。预训练出来的模型只会续写文本，不一定听话。OpenAI 2022 年的 InstructGPT 论文给出方案：人类反馈强化学习，简称 RLHF。让人类对模型的多个回答排序，再用排序结果训练模型，相当于请了一群人类老师，模型照着高分方向调整。ChatGPT 就是这条路线的产品化。

然后是能力解锁。报告把几次关键跃迁单独拎出来讲。规模本身带来「涌现」，某些技能在小模型上完全测不到，过了某个规模突然出现，像水加热到 100 度才沸腾，99 度时看不出任何迹象。训练数据里混入代码，能明显提升推理表现。思维链提示，让模型把推理步骤写出来再给答案，2022 年 Google 的论文证明，这一招能大幅提高数学和逻辑题的正确率。

模型到底懂不懂：一场没有终场的争论

报告最后一部分，处理最吵的问题：这些模型是真的理解世界，还是高级复读机。这个争论在 2023 年年中没有共识，报告的处理方式是把证据摊开。

反方代表，是 2021 年 Bender、Gebru 等人的「随机鹦鹉」论文：模型只是按统计规律拼接词语，谈不上理解。正方则拿出了一批实验证据，其中两个最有分量。

一个叫 Othello-GPT。哈佛团队 2023 年发表的实验里，一个模型只看黑白棋的走子序列，从没「见过」棋盘。研究者探测它的内部状态，发现它自己学出了一整套棋盘表征：每个棋子在哪、轮到谁走，内部都有对应的结构。后续研究进一步发现，这种世界模型是训练过程中自然涌现的。一个只被训练来预测下一手棋的模型，自发构建了棋盘的世界模型。如果模型内部真的存在棋盘表征，「只是背走子」的解释就站不住了。

另一个来自 Anthropic 的可解释性研究。他们在模型内部找到了「归纳头」这样的电路：模型会回头找当前内容之前出现过的片段，把后续内容复制过来，这个机制恰好解释了模型怎么做上下文学习。这类研究叫机械可解释性，目标是把神经网络的内部电路一个个找出来，「模型内部存在可识别的结构」从此有了实物证据。

Labenz 把两边的证据都摆出来，没下最终结论。但把 Othello-GPT 和归纳头放进基本功清单，已经透露了他的判断：模型学到的结构，比「随机鹦鹉」论承认的多得多，理解与否，更像是个程度问题。对使用者的含义也很实际：既然模型内部有结构，提示词就绝非玄学，写清楚上下文和例子，等于给模型提供它需要的检索线索。

一个菲律宾助理的两年：100 多个模型是怎么来的

理论讲完，节目后半段换了个完全不同的场景，也是全期最有烟火气的部分。

赞助商 Athena 是一家高管助理服务公司，把菲律宾的行政助理和全球的创业公司高管配对，客户多是机会多、时间少的人，月费 3000 美元。Labenz 把这笔账算得很直白：这个价格，足以在菲律宾雇到管理层级的人才，按客户所在时区工作，深度嵌入客户的生活和团队。

Labenz 和 Athena 的关系，比一般主持人和赞助商深得多。两年半前，他还在当 Waymark CEO,自己就是 Athena 的客户，匹配到一位叫 Charisse 的助理。起步是标准动作：管邮件、管日历、运营社媒、做临时研究项目。她干得不错，很多他本来挤不出时间做的项目，都推进了。

转折发生在转向生成式 AI 之后。ChatGPT 出现，两人开始把日常工作流往 AI 上搬，结果发现，好助理和好 AI 运营，底层素质高度重合：组织能力、对细节的关注、对异常数据点重要性的嗅觉、软件熟练度、对重复任务的容忍、平衡速度和准确的能力，再加上爱问为什么、做事主动。

两年下来，Charisse 按美国团队的工作节奏，建起多个关键数据集，开发了大批提示词，微调并验证了 100 多个定制模型，维护着几十个复杂表格，还以各种方式补位。微调，就是在现成大模型上用自有数据继续训练，得到更贴合具体业务的专用版本；验证，则是确认这些版本真的比通用模型好用。这些工作没有一件需要博士学位，需要的只是稳定的方法和大量的重复。

「毫不夸张地说，她已经成了 Waymark 团队的核心成员。」

这段经历直接改写了 Labenz 的职业轨迹。他开始给 Athena 做 AI 顾问，到节目上线时约 6 个月，目标有两个：给助理打好 AI 基础，在公司内部建起任务自动化的实践。具体做了三件事：给助理们开 AI 101 核心技能课，内容是提示词和「聪明选模型」；把公司原有的委派手册逐条加上 AI 提示词；整理任务自动化的早期最佳实践和模板。

一个细节能看出投入程度：这期球探报告，在 Labenz 的妻子 Amy 之后，第一批观众是 200 名 Athena 助理。Athena 的核心价值观里有一条，叫「永远长期」。在 AI 一天一变的环境里谈长期，风险不小，他们的选择是投资人力资本，让助理骑上 AI 浪潮，再把实验结果、发现和自动化模板尽量分享给客户。

这个案例的价值在于可复制。AI 运营岗位没有学历门槛，靠的是一组可迁移的工作习惯：把任务拆细，记录每次结果，区分好用和不好用的模型，持续迭代。

明天就能做的事

这期节目对普通读者的价值，可以压缩成几个明天就能执行的动作。

• 用 90 分钟补基础，替代刷一周新闻。报告的四块框架可以直接当自查清单：通用模型现在能做什么、模型怎么训练出来的、能力怎么解锁的、模型理解到什么程度。四个问题都能答上来，认知就已经超过大多数只看头条的人。
• 找到你身边的「Charisse」。团队里那个细节控、爱问为什么、不烦重复劳动的人，大概率是最合适的 AI 运营人选。AI 时代的执行岗，拼的恰恰是这些旧素质。
• 把提示词当资产管理。100 多个模型的背后，是持续记录、验证、迭代的习惯。每次写出一个好用的提示词，存进文档，标注适用场景，半年后它会变成团队最值钱的文档之一。
• 学会「聪明选模型」。写文案、做分析、跑代码，各有更合适的模型，别把所有活塞给同一个，也别只认一个品牌。
• 自测一下。能不能用三句话向同事讲清楚预训练、RLHF、涌现这三个词。讲不清楚，补课材料就还没消化，回头把四块内容再过一遍。

Labenz 把成功标准定在「高中 AP 水平」，姿态放得很低。反过来想，2023 年，补过课的人和没补课的人之间的认知差距，正以月为单位拉开。报告免费，在 YouTube 上；第二部讲 AI 与真实世界的接口，已经在路上。