从诗歌到编程：全球首位提示词工程师，把调教大模型的方法论讲透了

2022 年，一个叫 Riley Goodside 的人在推特上接连放出大模型提示词技巧，其中最有名的一招，是把模型塞进 REPL（读入、求值、输出循环）里，让它写代码、跑代码、看结果再改。这套玩法放在今天，就是 AI Agent 的雏形。凭这些操作，他拿到了一个此前不存在的头衔：AI 训练数据公司 Scale AI 的 staff prompt engineer，业内公认全球第一位提示词工程师。

2024 年 7 月，他在 Nathan Labenz 主持的播客 Cognitive Revolution 上复盘这门手艺，结论干脆：当年让他成名的那些技巧，大半已经过时，提示词工程正从诗歌变成编程。

他对职业前景的判断更泼冷水。2023 年初，「提示词工程师」被媒体捧成未来职业，Riley 说，大多数公司根本不需要这个岗位，需求大头在 AI 行业内部，尤其是准备训练数据的人。

这期节目的干货密度很高：从提示词到微调的升级路线图、推理轨迹数据怎么造、幻觉的成因、40 次 GPT-3.5 调用换 1 次 GPT-4 的汇率，再到越狱防御能不能练进权重。下面按主题拆开讲。

一门手艺的三年：从推特诗歌到代码评审

Riley 近期在推特上安静了不少，原因有三个。第一，他 2023 年 6 月当了爸爸，女儿 Felicity 占掉大量精力。第二，当年高频发帖本质是一场求职宣传，工作到手，动力自然消退。第三，他在一家客户覆盖大半个 AI 行业的公司任职，说话要照顾各方感受，早年那种百无禁忌的风格收敛了。

但最根本的原因，是手艺本身变了。2022 年用 GPT-3，入门前得背一堆蠢规矩：提示词结尾不能带空格，否则效果就崩；模型永远不会主动说「我不知道」，问它没答案的问题，它会一本正经编一个，用户得专门提醒它，说不知道是允许的。这些知识今天大部分作废。对话模型对普通人友好得多，很多人完全不懂分词（tokenization）也能用得不错，偶尔踩坑，但已经可以不知道。

谈到这一年的能力进步，Riley 说提升变得分散，他最看好的方向是给模型一个解释器环境，ChatGPT 的代码解释器、Julius AI 这类产品都是这个思路。大模型最该学会的，是使用大模型。预训练语料里如今到处是聊天机器人对话，模型从语料本身就能学到聊天机器人该怎么表现，不再全靠后训练硬灌。

Riley 过去有个著名类比：提示词工程像打字。曾经会打字就能找到打字员的工作，现在人人都会打字，只是没人再自称打字员。到这次上节目，他连这个类比都想修正，因为 2022 年式的技巧确实在失效。

失效归失效，这门手艺没有停止生长，只是换了形态。

「提示词工程像森林火灾的火线，烧在边缘，但任何一棵具体的树都不会烧太久。前线会一直推进。」

它变得更重代码。RAG 严格说就是提示词工程的一种，本质上是在决定什么进入提示词；DSPy 这类自动优化提示词的工具开始流行；围绕大模型的封装、流程、评估代码越堆越厚。还有一个更隐蔽的趋势：技巧被回收进模型本身。发现某个提示词技巧有效，最好的用法之一是拿它生产更高质量的后训练数据，模型学进去之后，所有人都不再需要知道这个技巧。技巧的宿命是被吸收。

顺带一提，Scale 还在招提示词工程师，方向是安全、红队、越狱和对抗性提示。Riley 给想入行的人的建议很朴素：把作品发在 X 上，让好东西自己浮上去。这条路他本人走过一遍。

一条不浪费功夫的升级路线

节目里最实用的部分，是 Riley 给出的完整路线图。想把一个任务做到生产级，按这个顺序走：

• 先写一个指令提示词，当作任务的最小可行版本；
• 加 K-shot 示例，一直加到上下文塞不下为止；
• 开始琢磨示例怎么挑，不一定要用向量检索，什么方法有效用什么；
• 再往上扩展，RAG 等手段登场；
• 以上全部榨干，才轮到微调。

两条理由：前面几步便宜、投入小；功夫不会白费，长提示词里那些高质量问答，直接能变成微调数据和示例库的素材。工具调用是个例外，Riley 提醒，要调用真实 API、输出严格结构化的场景，往往微调才能达到可靠性，好在这种刚性任务不需要太多示例。

整条路线里最容易被忽略的环节，他点名为拆解（decomposition）。每一步都问自己：这个任务里有没有一块能抽出来，变简单，交给更小的模型，甚至交给完全不用大模型的工具？另一件多数人懒得做的事是标注和造例子：真实的输入分布长什么样？边界条件在哪？哪些例子的正确输出是模糊的？把这些定义清楚，模型才能把现实中的每个新例子，当成已给示例之间的插值。示例覆盖了边界，插值才插得对。

这条路线上限有多高？Riley 举了微软的一个案例：一个没做医疗微调的通用模型，靠一条复杂的提示词流水线，在医疗问答上打败了谷歌专门微调过的 Med-PaLM。听起来费钱费事，但现实里很多问题最后就是这么解的。他给了一个直觉解释：当示例选择做到极致，问题本身变得平凡，相当于把答案预先算好了。K-shot 选择可以看成一种预计算，而可预计算的空间大得很。

推理轨迹，最容易被漏掉的金子

主持人 Nathan 补充了自己的实战经验，拿客服工单举例：人们手头的数据通常是工单原文加最终回复，中间的思考过程，比如「我注意到这个细节，所以去查了那个系统」，只存在于客服的脑子里，工单系统的内部备注栏往往空着。把这些从人脑子里挖出来，有时得靠访谈式的社交工程，找到干活的人，追问他们怎么判断。他在 GPT-3.5 上做微调，只喂输入输出对，模型学不会；加上显式的推理轨迹，效果才起来。

Riley 完全同意，并给出底层解释。自然文本像意识的录音，但充满例外。最典型的例外是计算：文本里随口写出 57 乘 125 等于多少，这段内容并不来自思考的连续流，中间有人停下来，掏出计算器，算完再把录音接上。大模型算数不可靠，一部分原因就在这，真实世界的计算压缩了无数中间步骤，纸上不留痕。让模型把步骤一步步写出来，正确率会明显上升。

合成推理数据还有个讲究：模型自己生成的思维链，和人类写的，是两回事。做法是让模型对题库逐题一步步想，只保留那些最终答对的推理过程，拿去微调。等于在教模型复用它自己验证过有效的推理路径，这些路径甚至带着这个模型特有的怪癖。人类标注员写不出这些，因为他们意识不到自己脑内的全部推断。

拆解的威力有个极端案例。有篇论文想证明，即使微调数据有另一个大模型盯着审查，也能把模型调坏。研究者发明了一种字符加密，把 ASCII 码按 NumPy 的种子 53 做置换，取名 Walnut 53。模型在提示词里被解释、被举例，都学不会这个密码，但通过微调学会了。具体做法是造桥任务：用密码写任务，让模型先用明文复述任务，再用密码完成任务。桥搭好之后，真正有害的任务示范全部用密码书写，审查模型看不懂，目标模型执行无误。Riley 把它当成教科书级的拆解案例：把一个模型本来不会的任务，拆成几个能学会的小任务，逐个攻克，再组装回去。

微调有代价，通用性要自己保

Riley 的第一条建议听起来像劝退：能不微调就不微调。微调有成本，成本之一是通用能力受损。有论文显示，用任何新的事实性知识微调模型，都会让它在其他场景更容易产生幻觉。他的心智模型是：预训练给了模型一套对「什么说法像真的」的深层直觉，喂进训练集之外的新知识，等于告诉它新东西没关系，可以忽略那个直觉。忽略的直觉攒够数量，幻觉就开始了。

真要微调，怎么保住通用性？节目里给了三个办法：

• 混入通用聊天数据对抗遗忘，找不到原始预训练数据，找类似的对话语料也行；
• 开源模型可以玩权重混合：在窄任务上微调，同时在窄任务和通用基准上评估，用经验找出两组权重的最优配比；
• 一个 Riley 没亲手试过但听说有效的偏方：拿 Llama 3 的 base 模型微调，算出微调后与 base 的权重差，再把这份差值叠加到 instruct 模型上。直觉上，等于把定制塞在 RLHF 抛光层的底下，别惊动那层抛光。

选模型这件事，他的原则一句话：最好的模型，是在具体任务上表现最好的那个。各家模型的表现散得很开，写诗强的和写代码强的经常是两家。排行榜只能当指南，Scale 自己做 SEAL 排行榜，特意按领域拆开，写代码一个榜，精确指令遵循一个榜，数据靠人扮演各种职业角色设计任务再生产示范。Reddit 上小模型社区的口碑也值得看。有些问题基准测不出来，比如某个模型用西班牙语写技术文档，写着写着切回英语，另一个模型就没这毛病。还有成本，调用量的预期要先算，LLM 共识流水线这类玩法烧钱速度惊人。

安全这块，节目里有个关键判断：能不能把所有防御都练进权重里？Anthropic 的多镜头越狱（many-shot jailbreak）论文给出否定证据：往长上下文里塞几百个恶意问答示例，就能压过用对抗样本微调出来的防御。同一篇论文又发现一个简单得可笑的解法：在提示词末尾加一句提醒，你是 Claude，一个安全对齐的模型，攻击就被大幅压制。重复 token 攻击则更适合用输入过滤器拦：检测用户是不是在无限重复同一个词，比微调修补划算。Riley 的判断：猫鼠游戏会长期继续，纯靠训练解决一切的时代结束了。至于开源模型，权重一旦放出，就没人能拦住别人拿它做什么，这条路没有免费午餐。

大模型能做任务，做不了岗位

判断手头的事能不能交给 AI，Riley 有一条经验法则：大模型能做任务，做不了岗位。如果一件事能拆成可重复的单元，输入输出能像表格一样摆出来，它就有戏。新手常犯的错，是让模型直接给商业策略、想创业点子、讲笑话。这类需求卡在「既要求新鲜又要求竞争力」的交集里，正是模型的死穴。幽默是原型：三十年代的顶级笑料今天未必逗笑人，幽默的本质是抢在所有人前面出其不意。任务越不像幽默，成功率越高。

但火花确实存在。Riley 举过一个例子：Python 库 attrs 的名字，用荷兰语读起来像个脏话词。他在 YouTube 视频里听到这个梗，拿去问 ChatGPT，模型答对了，荷兰语里确实有 etter 这个词，大意是毒液、害虫。这个连接不可能出现在训练文本里，因为源头是某个没人转写的小视频。模型的 novelty 没有归零。

问题在于怎么把火花捞出来。DeepMind 的 FunSearch 在装箱问题上刷新纪录，靠的是海量生成加一个客观评分函数，留下最好的程序继续迭代。多数任务没有现成的评分函数，怎么办？Riley 的建议：

• 先粗暴来：生成多个答案，全部丢给长上下文模型，问它哪个最好；
• 更稳的做法是两两比较而不是打分，从胜负平记录里算出 ELO 分数再排序；
• 能用领域内客观指标就用：代码跑单元测试，翻译做回译，看回译成英文后意思偏了多少；
• 有篇论文算过汇率：调用 40 次 GPT-3.5 的效果约等于 1 次 GPT-4。智能很贵，但生成加筛选这条路是通的。

数据侧还有一招：把文档改写成合成问答。做 RAG 微调时，训练数据必须长得像真实示范，输入是问题加检索片段，输出是从这些片段得出的答案。文档转合成问题，顺手还多了一层质量检查的机会，在上线前就把脏数据拦住。

远方还没定论，清单明天就能用

聊到 AGI 的定义，Riley 用农业算了一笔账：工业革命前，约一半人口在农业链条上干活，如今美国只有约 2% 的人务农，拖拉机和农机吃掉了近一半的人类劳动，人们转身去做的新工作，当时没人能叫出名字。经济价值的定义一直在漂移，AGI 的门槛也一样。

未来值得押注的方向，他举了 DeepMind 蒸馏 Stockfish 的论文：把传统国际象棋引擎对局面的判断灌进语言模型，训练数据只有棋盘加胜率评估，推理时枚举所有合法着法逐个打分，就能下出大师水平。语言模型装的远不止语言。Riley 的数据观：把模型看成训练数据的压缩，常被当成保守立场，其实相当乐观，思想和经验之间存在可替换性，还有大量没试过的训练素材，DNA、视频、传感器数据。就算 Scaling 停了，后训练的空间也还很大。

ARC 基准他没敢打包票。这个纯图形测验像智力测试里的瑞文推理测验，Riley 的态度是，人类搞了几十年符号 AI 的宏大理论，最后管用的办法是让模型什么都懂一点，也许知识体量和智能之间有不可约的东西。用他的原话收尾：我们能坐在这里对未来做如此宽泛的猜测，恰恰意味着我们对这一切知道得还太少。

远方的结论可以悬置，手上的动作可以确定。这期节目能直接抄走的，是下面几条：

• 拿手头任务做表格测试：输入输出能不能摆进一张表格，能，才谈自动化；
• 按升级路线走：提示词、K-shot、示例筛选、RAG，全部榨干再考虑微调；
• 每一步做拆解：找出能交给小模型或普通代码的环节，别让大模型干杂活；
• 给微调数据补推理轨迹，去访谈业务专家，把脑内步骤写下来；
• 生成多条答案，用两两比较加 ELO 挑最好的，别指望一条过；
• 选模型别看综合榜，在自己的任务上实测，把语言切换这类基准测不出的毛病也纳入检查。