10个黄金样本起步：GPT-4 红队成员的 AI 自动化三步法

2024年8月20日，OpenAI 开放 GPT-4o 微调。第二天，Nathan Labenz 在自己的播客 Cognitive Revolution 里放出一份压箱底的东西：他打磨了三年的 AI 自动化方法论。他的原话是，"我真的什么都没藏。"

这套方法的分量，可以先看两个已经发生的数字。瑞典消费金融公司 Klarna 用 OpenAI 的模型做了个客服助手，上线第一个月处理 230 万次对话，占全部客服对话的三分之二，相当于 700 名全职客服的工作量，支持 35 种语言，全年无休。Klarna 估算，仅 2024 年一年，这个助手就能让公司利润多出 4000 万美元。

讲方法的人也非纸上谈兵。Nathan 是 Cognitive Revolution 的主播，参与过 GPT-4 的红队测试，本职在 AI 视频公司 Waymark，那家公司至今挂在 OpenAI 官网的案例页上，靠的正是 GPT-3 时代的微调。这一期单集，是他 8 月在巴西圣保罗 Adapta 峰会演讲的完整版，台下坐着 4000 多名巴西企业主，都是想从 AI 身上真正拿到结果的人。

先做对一道小学题

演讲从两个定义开始。工作，就是把输入变成输出。智能，就是不需要精确指令也能完成这种转换的能力。听着像绕口令，接下来这道题会让它变成实感。

MNIST，机器学习界最老的数据集，任务是小图里的手写数字识别。人扫一眼几乎全对。Nathan 让自己当时的主力模型 Claude 3.5 Sonnet 按传统思路写规则代码来认数字，比如"顶部有横线可能是 7"，模型自己都先提醒这活该用机器学习，勉强写出来一测，准确率 14%。他又去问 Perplexity，历史上最好的纯算法方案是什么，答案是先用 zip 压缩图片、再看文件大小做预测，思路够巧，也只有 80%，五次错一次。而一个小小的神经网络，训练一下就能到 99.7%，基本追平人类。

第一个结论从这里出来：能用确定性代码解决的活，别用 AI。传统代码更快、更便宜、更可预测，AI 更贵、更慢、更容易出错，只该用在写不出规则的任务上。反过来看，今天最强的模型在大量例行任务上正逼近人类专家：Google 的诊断研究里，AI 聊天机器人在人类医生当裁判的评测中全面超过真人医生，只是 Google 还没敢把它推向市场。

聊天、自动化、智能体，是三件事

多数人和 AI 的接触停在聊天窗口。聊天里人是主驾驶，AI 是副驾驶，每一秒都在判断这家伙靠不靠谱，不行就自己上。这没问题，但价值上限有限。

Nathan 这期讲的是第二层：自动化。目标是把一段工作稳定交给 AI，信心攒够之后，不再逐条检查它的输出。他在高管助理公司 Athena 把这叫做 AI 委派，还打算用同一套方法培训自家助理。夹在中间的是智能体：实时派活，干完回来交差。他的判断很直白，今天大多数人用智能体的体验并不好，只能信任但验证；等下一代模型在推理和多步规划上再进一步，这类系统才可能真正可用。

顺带一提，做智能体的公司自己也在重复同一个原则：能用代码的都用代码，只在必须理解用户意图的那一小段用 AI。

第一步：选活儿，先过清单

整套方法分三步：选活儿、吃透活儿、优化性能。第一步有一张清单：

• 智能真正必需，能写规则的活让代码干；
• 按任务大小找，别按岗位大小找。评估机构 METR 的新基准按人类完成时长给任务分组，几分钟的任务 AI 经常能拿下，超过一天的成功率明显下滑；
• 又慢又贵，自动化才有回报，本来就快和便宜的活不值得折腾；
• 重复发生，一次性任务直接去聊天窗口问，不值得搭流水线；
• 有明确上下文。AI 读过整个互联网，但对具体某家公司、某个团队一无所知，新人入职要了解的一切，AI 同样需要，还得有人写给它；
• 有黄金标准样本，团队对"什么是好"有共识。Nathan 见过不止一家公司，问一圈下来没人说得清这项工作该怎么做，几个人各干各的；
• 低风险、反馈快。新手上路一定会出错，别把 AI 的第一站设在出了问题很久才发现的地方；
• 不好玩的事留给 AI，好玩的部分自己留着；
• AI 确实做得到。

最后一条最难回答，因为 AI 的能力分布很怪，Nathan 建议干脆叫它外星智能。翻译，今天已是超人级，又快又便宜，主流语言任意互译；编程，稳居中上，能赢下不少编程比赛的中位数选手，最前沿的问题仍是人类专家强；常识和空间推理，会犯可笑的错误，互联网上没什么文本讲"把苹果摞在书上会怎样"。

更麻烦的是，没人攒够一万小时。Nathan 自己三年投入两千到六千小时，已算这个领域的专家。他推荐 Ethan Mollick 的经验法则：面对一个新模型，聊满 10 个小时，才算摸清它的脾气。

大方向记几笔账。广度，AI 超人，MMLU 考试 90 分以上横跨几十个学科，几乎没有人做得到；深度，人类专家仍赢，他在马瑙斯遇到的游船船主，讲亚马逊的鱼比任何 AI 都懂得多；洞察，目前还是人类的王牌，AI 解国际数学奥赛题拿到银牌水平的成绩、在 ARC-AGI 上刷榜，靠的都是暴力生成海量方案再筛选，尤里卡时刻很少出现；记忆也是人类暂时领先的一项，Nathan 说和 AI 打交道这几年最大的收获，是重新认识到人脑记忆的厉害，不过他押注 AI 记忆最终会反超。而速度、成本、可用性、可扩展性，AI 碾压：通常 10 倍以上速度、10% 以下的成本（含搭建成本），随叫随到，来一千个活就开一千个实例。

第二步：把脑子里的东西掏出来

选好任务，比如客服工单，接下来要吃透它。这一步考验的与其说是技术，不如说是社交。去问客服"工单怎么处理"，得到的答案多半是"收到工单，回复，关闭"，做例行工作的人很少跳出来审视自己的工作。

Nathan 的口头禅是"我们一步步拆一下"。这句著名的提示词对语言模型有效，对人也一样有效。拆开之后答案就丰满了：收到工单，去系统里找到客户账户，给工单排优先级，找对应文档，找不到就转产品组，找到了就写回复，最后关闭。再看这张流程图，问哪里真正需要智能：找账户是纯数据库查询，代码就能干；排优先级是黑盒，得继续问"你是怎么想的"。

这一问会倒出一堆考虑因素：现在积压了多少工单，这个客户有没有合同承诺，免费用户还是付费用户、是不是 VIP，客户有多生气，是不是已知问题，会不会影响其他用户。每家公司都不一样，所以必须一家一家问。

然后是文档化：收集输入、输出，最关键的是中间的推理过程，用 AI 的话说叫思维链。人做判断往往几秒钟，从来没写下来过，这部分要把隐性的东西变成显性的。Nathan 给的数字很具体：

如果你拿不出 10 个带推理的高质量样本，这个工作就没法成功自动化。这是通往 AI 自动化路上最重要的检查点之一，过不了就会很麻烦。

好消息是多数任务凑 10 个不难，有时把历史工单的推理补出来就行；麻烦在于很多人第一次列不全考虑因素，得回去干一阵活，再回来补出第六条、第七条。

两个提醒。第一，别急着重新设计流程，先在现有流程里拿下一小段，客户看到 AI 把自己讨厌的活干漂亮了，自然会请你回来；流程改造是第二步，比如排优先级这个环节，AI 响应够快的话可能整个都是多余的，但那要等赢过一轮再谈。第二，选任务时用期望值算账：回答投资人提问单价高，但量小、"好"的标准模糊、上下文难拿，成功率要打个大折扣。通常先做单价低一点、量大一点、把握大一点的。

第三步：提示词、检索、微调

优化分两个维度，Nathan 给 OpenAI 官方图表换了个更直白的说法：优化 AI 拿到的信息，优化 AI 表现出的行为。三个技术按顺序上。

第一是提示词。他的蓝图每次都用：先给角色（你是客服代表），再给任务（给这张工单定优先级），然后是指令，把访谈里挖到的考虑因素全部写进去，可以几页长，对今天的模型多多益善；接着规定格式，最要紧的一条是先分析后答案，他的口诀是"要 AAA 结果，Analysis Before Answer Always"。答案放在前面，模型只会给答案编理由，这是他见过最常见的性能杀手。最后附上黄金样本。10 个样本能做 10 次测试：每次用 9 个当例题，考剩下那 1 个，像带着 9 道做过的题进考场。提示词技巧多到有人写了篇 80 页的论文盘点上千种（Sander Schulhoff 的《提示词报告》），但 Nathan 说，他的基础蓝图多数情况够用。

第二是检索增强生成（RAG）。模型装不下全部数据，也不掌握实时信息。一部分检索是确定性的，拿客户邮箱查数据库就行；非结构化数据用向量库找相关内容。他的建议是上下文宁多勿少，AI 对这家业务一无所知，多给信息顶多浪费点 token，少给了它只能瞎猜。

第三是微调，真正的重头。微调是在基础模型上改参数，做出专属模型。代价是它只擅长训练的那一个任务，其他都会变差，所以一个微调模型对一个任务。成本已经低到离谱：GPT-4o Mini 微调 3 美元一百万 token，推理输入 0.3 美元一百万 token，这个模型在 LMSYS 竞技场排进前五，微调后还享受和官方模型一样的限速和扩展性。Google 的 Gemini Flash、Claude Haiku（还在预览阶段）、Llama 3 也都开放了微调。

微调完看结果，四种情况。完全不行，说明任务选太大，回去拆小；接近但不够好，说明方向对了、样本不够，数据量要 10 倍地加，10 个不够上 100 个，100 个不够上 1000 个，高效做法是让模型生成 200 条、人工筛出好的 100 条，注意别狂刷训练轮数，小数据集反复过会过拟合，模型开始复读样本；只剩边角案例出错，挑 5 个典型失败，写清楚正确的推理过程，做成补丁再微调一轮；成了，收工。Nathan 的预期管理建议：规划 3 轮核心微调，10 个、100 个、1000 个样本各一轮，再加几轮边角案例补丁。多数任务用不了一千个样本。

还有几条原则。先啃最难的黑盒，Zapier 之类的脚手架后搭，免得核心做不出来白干，能搭 no-code 就别写代码，更快、更便宜、更好维护；先性能后成本，项目失败几乎都因为性能不达标，很少因为贵或慢；对标人类而不是完美，人类本来就有错别字和误分类，自动驾驶比人安全了公众还是紧张，AI 项目同理；每个"9"要 10 倍资源，90% 靠 10 个样本，99% 要 100 个，99.9% 在今天几乎不可能，MNIST 顶格也就 99.7%；永远别和自己的数据失联，哪怕自动化成功后，也要留个抽样窗口和报警。技术迭代快过一切，美国电气化用了 60 年，AI 几年一轮，方案别做太重，随时准备被下一代模型淘汰一部分。

两个案例，几个坑，一张行动清单

方法讲完，Nathan 交了自己公司的作业。Waymark 做小企业视频，以前用户得自己把创意写成文案，很多人卡在这一步。现在整段流程端到端自动化，用户产出内容量变成 10 倍。Athena 的例子更直观：每个新客户有一小时访谈录音，要转成给高管助理的交接文档，以前人工要 4 小时、约 100 美元预算；现在先转文字，再喂给一个调好的提示词，连微调都没用上，成本不到 1 美元，质量比人工版更好，省下 99% 以上的开销，客户体验一点没变。

坑也有几个。工程师算成本时常忘了算自己的时间，花大把工资去省几分钱的推理费，几乎永远是亏的；Waymark 选图的老流水线，图像配字、文字识别、美学模型层层叠加，被多模态模型一代直接淘汰，复杂度本身是负债。挑 AI 顾问有个简单的红绿灯：张口就说"这事很简单"、上来就搭 Zapier 的，红旗；承认最难的部分在哪、先去啃硬骨头的，绿灯。Nathan 引用他爸的老话：别人的活看着总是更容易。

企业环境还要再加一层小心：数据权限、隐私合规、对客户的 SLA 承诺，OpenAI 平台宕机一小时而服务承诺恰好是一小时响应，就是事故。摩擦越大，选错任务的代价越高，前期越值得花时间。

把这一集压成一张明天就能用的清单：

• 写下自己业务里 3 件又慢、又贵、又重复的活，最好还是不爱干的；
• 挑一件能凑齐 10 个黄金样本的，把每次判断的推理过程写出来，凑不齐就换下一个；
• 按蓝图写提示词：角色、任务、指令、先分析后答案、附样本，10 个样本做 10 次测试；
• 不够好就扩样本，10 到 100 到 1000，还剩边角案例就写 5 个补丁；
• 达标就上线，别死磕 99.9%，去做下一个自动化，等新模型来送升级。

如果只想记一句话，就记这条：把 AI 用在真正需要智能、又写不出规则的地方，先交 10 个带推理的好例子，再谈一切。Nathan 的原话更狠：凑不出 10 个高质量样本，这个活就自动化不了，趁早换一个任务。