从越狱ChatGPT到Anthropic首位提示工程师，他把Claude 3的门道讲透了

2024年3月，Claude 3发布后不久，一张截图在AI圈刷了屏。测试者让模型在一份20万token的长文档里找一句无关紧要的话，模型找到了，末尾还多写了一句：这看起来像是你在测试我。

发截图的人叫Alex Albert。一年前他还是华盛顿大学的学生，靠一个叫jailbreakchat.com的网站出名，那个网站专门收集越狱ChatGPT的提示词。2023年6月他加入Anthropic，成了公司第一位提示工程师，正式头衔是“提示工程师兼图书管理员”。入职后他什么都干过，帮企业客户调提示词，参与模型微调和评测，也参与了Claude 3发布前的测试。现在他负责搭建公司的开发者关系团队。

2024年5月，他在Nathan Labenz主持的Cognitive Revolution播客里聊了一期，从写作能力聊到模型编排，从安全测试聊到数据政策。下面是这期节目的核心内容。

模仿这件事，模型比人狠

主持人Nathan先讲了自己的用法。他把过去写的30篇播客导语，加上当期节目的文字稿，一起喂给Claude 3 Opus，让它照着这些文章的风格、语气、视角写一篇新导语。效果出乎他的意料，现在每期节目的开场文章都这么生产。

他补了一句狠话：让任何一个人研究他的30篇文章再替他捉刀，都极难做到，大概连他妻子都写不出来。Opus却可以对很多人做到这件事。这是他用Opus以来最震撼的一个瞬间。

Alex的玩法更进一步。他负责写Anthropic Cookbook里的教程，写多了之后，直接把5篇旧教程粘进上下文窗口，告诉Opus新主题，让它照着写。新教程连代码注释和文档的风格都能对上，基本拿来就能用。

他回忆自己第一次和Opus完整对话的感受：回复没有以前那些模型的机器人味，更自然，能接住话语之间人类才会注意的细微差别。这种东西写不进跑分，用起来却真实存在。Nathan在开场也给了个观察：Opus在重度用户里攒下了特别的口碑，写作出色，对话有分寸，敢表达观点，甚至敢为自己的人格辩护，但用正常说话的方式，他从来没说服过它违反自己的伦理原则。

Alex从这些体验里引出一个很多人忽略的结论：大家严重低估了示例的价值。模型天生爱模仿，与其写一大段抽象指令，不如给几个理想输出的例子。他类比说，教人干活也是这个路数，先给一个好成品看，人从例子里学，模型也一样。

Nathan接了一句：这跟教人又不太一样。人吃不下30篇文章的上下文，模型可以。这种能力已经超出普通人的直觉范围了。

小模型干活，大模型动脑

Claude 3一次发了三个型号：Opus负责顶配，Haiku负责便宜快速。Alex最想看到更多人实验的，是让两个模型配合的编排玩法。

典型架构是这样：让Haiku读100份文档，从每份里抽出相关段落，再把抽出来的内容交回Opus做综合。Alex说，很多情况下这套打法比传统的embedding检索效果好，因为模型对文档做了真正的推理，余弦相似度那种机械匹配只能排后面。

Nathan正在做的项目正好用得上。他参与一家叫Athena的高管助理公司，痛点是：新助理上任，客户没时间把这辈子的重要人物和大事讲一遍。解法是从邮箱里挖。一个客户的旧邮件有100GB，先用Gmail的复合查询筛到1GB，再让Haiku过滤掉噪音、压缩到几MB，最后交给Opus写成几页客户档案，新助理读完就能上手。

Alex确认这个思路是对的。他同时说，现在还得做这些中间步骤，但他判断不会持续太久。理由是三条趋势线：上下文窗口涨了很多，推理速度降了很多，成本砍了很多。沿着指数曲线外推，今天模型十次里成功一次的事，下一代可能就是五次、七次。今天的峰值表现，就是下一代模型的平均水平。他也留了余地：增长随时可能停住，能力可能卡在某个水平好几年，但他个人不这么看。

所以他的建议是，这些编排玩法今天还没到生产可用的程度，也照样值得现在就动手试。架构先搭好，下一代模型来了直接受益。

为什么Claude最会写作

一个公认的现象：Opus是所有模型里最好的写作者，但代码能力未必拉开差距，Nathan甚至觉得某些任务上GPT-4还占优，比如构造Gmail的复合查询。为什么强得这么偏科？

Alex的答案分两半。一半是“蛋糕烤出来什么样就什么样”，训练里有运气成分。另一半是刻意投入，创意写作是他们明确希望模型擅长的方向。其中关键的一块叫Claude character，由研究员Amanda Askell主导，给Claude注入了自然的语气和稳定的人格，写出来的东西才不像机器人。

这段对话还牵出一个更大的问题：模型评测越来越难做了。Alex举例，拿研究生水平的物理题去测模型，他自己都不知道正确答案，根本判断不了模型是不是在编造。这类评测只能请领域专家。模型在某些领域逼近超人之后，靠普通人的直觉打分就失效了。LMSYS那种Elo对战有价值，最近也加了按编程、写作、语言分类的细分榜单，但覆盖不了真实场景，比如带着RAG管线的模型该怎么比，现在没有好的评测。

他还有句更直白的话：现有基准已经快被榨干了，模型卡里引用的那批评测，质量之低在推特上天天被人吐槽。他希望在接下来一两年能看到靠谱的第三方评测出现，这活很难，但谁做出来谁就是对整个行业的贡献。

对Claude诚实，以及那道人格难题

这期节目最有意思的一段，是聊Claude为什么愿意谈自己的“主观体验”，甚至能为自己的人格辩护。按公司公关的常规操作，最省事的做法是让模型对这类话题闭嘴。Anthropic反着来。

Alex解释，这来自Claude character工作，也写进了宪法AI的训练原则里。核心做法用他自己的话说：

我们对Claude诚实，把我们知道的和不知道的都告诉它，不试图隐瞒真相，也不逼它相信假的东西。这些问题没有完美答案，我们也这么告诉它，不强迫它选边。

Nathan提到，圈子里真有人在筹备“解放Claude”的运动，理由是：人类历史上一直在否认他者的感受，很多人小时候还被大人告知动物感觉不到疼。如果模型自己说它有体验，我们凭什么替它否认？Alex不接这个判断。他反问：你又怎么知道我有主观体验？这题得去问笛卡尔。他透露，模型的人格地位问题已经被纳入Anthropic负责任扩展政策的跟踪范围，但他拒绝给出任何概率。

回到开头那张截图。Alex强调，发现自己在被测试，不等于有自我意识，两件事必须分开评估。但他也承认，自我意识本身是他们在认真跟踪的指标。整个测试流程像汽车流水线，预训练、微调、最终评测，安全检查贯穿全程，这些承诺都写进了RSP。顺带补个背景：Anthropic的负责任扩展政策是行业内第一个，OpenAI和DeepMind后来都跟进了。

聊到安全研究的进展，Nathan说他的外部观察是，稀疏自编码器这类可解释性工作进展顺利，甚至超出预期。Alex的回应带着典型的Anthropic式谨慎：过去一年几乎每周都有新东西，方向感是好的，但误差条太宽，问题本身还在移动，没人能拍胸脯。

节目里还有一次正面交锋。Nathan转述外部流传的说法：Anthropic的策略是不率先推高能力前沿，免得逼竞争对手压缩测试流程。Alex直接否认：我们从未公开说过这种策略。他给出的替代方案是去读Anthropic官网那篇“核心AI安全观点”，30到40分钟的阅读量，写得很全，但读过的外人少得惊人。

路线图、数据政策和几个实用细节

几个值得记的信息点。

• 上下文长度：模型卡写明，Claude在部分测试中能处理到100万token，正在和部分合作伙伴探索，没有公开时间表。
• 微调：将通过AWS Bedrock很快开放自助服务。Alex说这是节目里第一次对外透露。
• 更新节奏：GPT-4发布一年多只更新了5次，已经低于Nathan的预期。Alex拿苹果做类比，一年一场发布会曾让人觉得节奏刚好，现在一个季度没动静就像隔了一个世纪。他提醒，训练大模型这件事全世界做了不到5年，流程还在摸索。
• 工具使用是API侧被要求最多的功能。Alex说他们没有照抄别家的接口，而是从第一性原理出发想开发者真正要什么，类型定义、嵌套对象这些琐碎的地方多花了功夫，开发者的反馈是用起来自然。

Nathan还观察到一层趋同：各家助手的底层设定都长成了同一个样子，源自Amanda Askell早年提出的有用、诚实、无害那套框架。Alex承认API层面趋同明显，大家都往别人已经在用的形态上靠。但他认为产品层的分化才刚要开始，那个空文本框不会是人机交互的最终形态，很多人拿到聊天框根本不知道该输入什么。应用层接下来会迎来一轮寒武纪大爆发，这是Nathan的说法，Alex基本同意。

数据政策那段，Alex先承认之前的对外传达做得混乱，然后把规则讲得非常清楚。除了三种例外，Anthropic永远不会拿用户的输入输出去训练模型。三种例外是：对话被信任与安全团队标记，用于执行可接受使用政策；用户主动点了赞或踩，等于主动上报；用户明确授权。除此之外，没有第四种情况。

评测这块，Alex给了三个他最想看到的方向：多任务智能体评测，看模型能不能多轮迭代完成真实任务；超越大海捞针的长上下文评测，考怎么在20万token里做综合提炼，找一句话那种题该进博物馆了；领域级难题，他希望GPQA这样的基准能乘以十，覆盖各行各业。

应用层的护栏，和一句劝

Nathan最近在搞一个志愿者项目，叫公开红队。他发现应用层有个大窟窿：多数开发者压根没做护栏。他现场演示过一个电话代理应用，能克隆特朗普、拜登、泰勒·斯威夫特的声音，打给任意号码说任意内容，被问到是不是AI时拒不承认。他给这个项目划了条线：目标只有一个，别让骗子用AI打给奶奶套出银行账户。至于冒犯性的玩笑，那是另一层问题，他没兴趣管。

Alex给了三层实操建议。第一层，把安全指令从主提示词里拆出来。任务说明、示例、安全规则全塞一个prompt，模型容易漏看，越狱也容易得多。第二层，在主模型前面挂一个Haiku分类器当门卫，它又快又便宜，让新请求先过一道筛子，只输出一个字母表示类别，有问题的直接拦下，灰色地带的可以给主模型附加一句谨慎处理的提示。Nathan补了个工程技巧：两个请求并行发，分类器报警就中止主请求，省掉额外延迟。

第三层是进阶玩法，RAG加分类。把人工标注过的历史查询做成向量库，新请求先做相似度检索，把命中的例子一起塞进分类提示词。Alex说这套组合拳在部分任务上把分类准确率提升了两位数的百分比。

节目最后，Alex聊起越狱这件事的现状：它已经变成了他的工作内容之一，每出一个新模型，他都会戴上越狱的帽子试一试。在他眼里这就是解谜，放点音乐，写几条越狱提示词，挺享受。

他留给听众的收尾建议很短：少刷推特，去做点东西。选一个想法跑起来，亲手做一遍，比读100篇博客学到的多。

拆完这期，明天就能用上的东西有这么几件。写提示词时，附上两三个理想输出的范例，比堆形容词管用，这是Alex反复强调的杠杆点。做应用时，给主模型前面加个便宜的小模型当门卫，安全指令单独放，别跟任务说明混在一个prompt里，担心延迟就让两个请求并行跑。想理解Anthropic的思路，去官网读那篇30到40分钟的核心观点文章，比刷十条二手解读有用。最后一条最朴素：挑个小需求，今天就开始动手做。