给GPT-4找茬的人，被ChatGPT一份平庸的大纲点醒了

给GPT-4做红队测试的人，承认自己写文章时用不好ChatGPT。

2023年12月20日，播客Cognitive Revolution放出这样一期对谈。嘉宾Nathan Labenz有三重身份：AI视频公司Waymark的创始人，这档播客的主播，外加一个特殊头衔，OpenAI在GPT-4发布前请来的外部红队测试员。他的活儿是抢在全世界用户前面，想办法让这个当时最强的模型干坏事，把危险用法在上线之前挖出来。

就是这样一个人，在这期节目里承认：写自己的东西时，他一直没从ChatGPT得到过多少帮助。

教他破局的，是对谈的另一位主角Dan Shipper，商业媒体Every的创始人兼CEO。Dan的解法听起来糙：把一团乱麻原样粘进对话框，问一句「能整理成大纲吗」。糙，但有效，而且Nathan当场验证了。

先交代节目背景。这期内容原出自Every旗下新节目How Do You Use ChatGPT?，由Dan主持，Cognitive Revolution这边转发，Nathan亲自写了引言。新节目的套路很直接：每期请一位重度用户，把对方的用法一层层拆开给听众看。前几期嘉宾有Gumroad创始人Sahil Lavingia、写作者Nat Eliason、Notion研究员Linus Lee，这一期轮到Nathan本人坐上嘉宾席。

一个天天给模型挑毛病的人，坐到一个天天教人用模型的人对面。聊完之后，前者把后者的方法直接抄走了。

先认清这两个人

Nathan的Waymark是一家帮商家批量做视频的公司。他更广为人知的身份是Cognitive Revolution的主播，联合主持是Erik Torenberg。这档节目每周请站在AI前沿的研究者、创业者和建造者，Nathan在开场里把目标说得很朴素：和听众一起，拼出AI将如何改变工作、生活和社会的完整图景。

红队测试这个词借自安全行业：产品上线前，专门请一批人扮坏人，看能不能把系统搞坏。放到大模型上，就是发布前想尽办法诱导模型输出危险内容，能挖出多少挖多少。Dan介绍Nathan时用了「一队人里的一员」这个说法，也就是说，GPT-4上线前的那轮压力测试，Nathan是参与者之一。就在录制前一两周，他刚发了一条推文串讲这段经历，Dan特意提了这事。

这件事的价值可以这么看：等几亿用户把模型的漏洞摸出来，代价已经产生；发布前请人把坏事先做一遍，相当于给全行业打疫苗。

这段经历也让Nathan谈AI时有个特点：他比多数人清楚模型能闯什么祸。正因如此，他聊「把模型当副驾驶」时没有科幻滤镜，讲的全是当下就能上手的东西。

Dan Shipper这边，Every的自我介绍很直白：做互联网上最好的商业写作。Every除了写内容，自己也做AI小工具，Dan本人每天写东西，他的用法都是日常里用出来的。新节目名字本身就是方法：How Do You Use ChatGPT?，你怎么用ChatGPT？不聊趋势，不聊哲学，就盯着一个具体的人问到底。

两个人凑在一起，话题从Nathan的一个老观点开始。

核心论点：机器接走体力活，AI接脑力活

Dan开场提问时说，他在Nathan的工作里反复读到一个想法：AI的价值，在于帮人卸载认知工作。就像工业革命时期，机器接走了人的体力劳动，AI会增强一部分脑力劳动，也会卸载一部分。Dan把问题抛得很直接：这个判断成立吗？好在哪儿？

Nathan没有先回答好坏，他先做分类。他说自己谈「AI干活」时会分几种模式，这期节目大部分时间会停留在第一种，他管它叫副驾驶模式（copilot mode）。

副驾驶模式的画面是这样的：人照常过日子、做手头的工作，遇到具体情境时，尤其是用顺手之后，会突然反应过来：哦，这一步可以让它搭把手。

节目标题把这个意思写全了：Using ChatGPT As a Copilot For Your Mind，把ChatGPT用成你大脑的副驾驶。

副驾驶这个词选得讲究。飞机上有自动驾驶仪，也有副驾驶，两回事。自动驾驶仪替你开，副驾驶帮你开，分工发生在具体任务上，决策权留在机长手里。Nathan说的认知卸载也是这个量级：思考的主干留在人这边，交出去的是思考里那些机械的部分。

卸载认知工作这件事，人类其实干了几千年。结绳记事是把记忆外包给绳子，写字是把记忆外包给竹简，手机通讯录是把记忆外包给通讯录。Nathan说的这一轮，外包的范围从「记住」扩到了「想」。机械的部分先走，判断的部分留着，这个路径跟当年机器替代体力活差不多。

这半段对话还有个容易被忽略的细节。Nathan说「尤其是用顺手之后」，人会认出可以让模型接手的时机。换句话说，副驾驶模式的核心技能是一种识别力，而识别力靠使用练出来。新手面对空白对话框容易僵住，熟手会在具体情境里被触发。同一个工具，差别在触发频率。

Dan的问题里还挂着一半：这是好事吗？Nathan把评价先放在了一边，先讲机制。这个顺序值得学，评价一件事之前，先把它的运作方式说清楚，否则讨论容易变成站队。

框架听着抽象，具体到操作上，就是Dan接下来演示的东西。

Dan的土办法：把烂摊子原样扔进去

节目开头有一段Dan的自述，讲他写文章的第一步。

他有个选题后，会先建一个特别乱的文档，里面堆满引文、句子、一些可能用得上的零碎想法。这个习惯的妙处在于收集和写作分了家：平时读到什么、想到什么，随手扔进文档，不做任何加工。真要动笔时，材料已经攒了一堆。堆到一定程度，他自己先受不了了。

「我都不知道从哪儿下手。这太疯了。」

然后他做一件听起来很糙的事：把整个文档原样粘进ChatGPT，只问一句，能不能帮我整理成大纲。

「它通常真能理出一个大纲。那些大纲其实挺基础的。但我觉得它特别擅长的一件事，是指出那个显而易见的解法，而你恰恰因为离问题太近，把它漏掉了。」

留意Dan的用词，大纲的水平是「挺基础的」。他没指望模型产出多聪明的结构，他要的东西在别处：一个不带情绪、没有沉没成本的外部视角。

很多人卡住的位置恰恰相反：总觉得要先把自己的材料整理清楚，再去求助。整理本身就是整件事里最累的一环，Dan把它跳过了，直接外包。模型也不怕乱，它读过的乱文档比任何人都多。

这跟闻味道是一个道理。在屋里待久了，什么味都闻不出来，客人一进门就皱眉。你盯着自己那堆笔记看三天，逻辑断层会被大脑自动补全。模型对这堆文字没有感情，也没有执念，看见断层就直接指出来。

还有一个更实际的原因。自己写大纲，等于一边回忆材料一边做设计，两件事抢同一个脑子，经常互相拖累。把回忆这一半交给模型，人只负责判断结构，负担小一半。

写作者离自己的材料太近，常见症状有两种：开头困难，和结构固执。这份十秒钟的大纲对两种症状都有效。它给卡住的人一个起点，也给抱着原方案不放的人一个台阶：既然模型独立理出来的结构跟我的差不多，那我大概可以放心往下写了。

成本这边再算一次：粘贴，一句话，十秒钟。就算大纲全都没用，损失也只有十秒钟。顺便说一句，这个用法对工具的要求也不高，Dan用的就是最普通的对话界面，没有插件，没有工作流，一个输入框就够了。门槛低到没有借口。

学完就用：Mamba那期节目就是这么策划的

Nathan在转发引言里交了底。他之前用ChatGPT的场景很窄，主要是不熟的任务，需要有人帮他建立方向感、迈出第一步的时候。写自己的东西，他从来没觉得ChatGPT帮得上忙。这期对谈让他改了主意，他说Dan的方法让他想在自己身上多试试，还给这期对话下了个评语：既极其实用，也是一次真正的思想交流。

他不是说说而已，动作很快。

对谈末尾，Dan问他接下来最兴奋的事是什么。他答的是Mamba架构和状态空间模型，说他满脑子都是这个，诚实地讲，停不下来，Cognitive Revolution很快会出一期大节目专门聊它。紧接着他补了一句关键的：那期节目的策略、表达手法和整体结构，就是用Dan这期教的方法做出来的，他自己评价，确实帮上了大忙。

给不追论文的读者补个背景。Mamba是研究者Albert Gu和Tri Dao在2023年12月初公布的新架构，属于状态空间模型这一支，论文标题里就写着卖点：线性时间的序列建模。它瞄准的是Transformer的核心部件，注意力机制。注意力有个老毛病，每个新词都要跟前面所有词对一遍账，序列长度翻倍，计算量翻四倍，推理时还要维护一个越来越大的缓存。Mamba把账本压缩成一个固定大小的状态，读新内容只更新状态，成本随长度线性增长。2023年12月初论文放出，几天之内成了机器学习圈里最热的话题。

长上下文的成本降下来，影响的可不只是论文榜。很多现在做不起的产品，比如读完整本书再回答的助手、能记住几个月对话的个人助理，都会跟着变便宜。做应用的人盯架构，盯的就是这个。

一个做应用、做投资的人，对底层架构兴奋到停不下来，这个细节本身有信息量。提示词技巧的红利期很短，架构层面的变化才决定下一轮应用长什么样。Nathan用行动投了票。

那期Mamba节目因此成了双重预告：既预告内容，也验证方法。Dan的方法刚讲完，就在一期正经节目的策划里跑通了。从听完方法到拿真活验证，中间隔的时间按天算。学习闭环能压到这么短，前提是他手上一直有真实项目在跑。手上有活的人学方法，永远比没活的人快。

三处容易看走眼的地方

第一，最懂模型的人，未必最会用模型。Nathan给GPT-4做过红队测试，天天跟模型打交道，他的使用场景却长期停在「不熟的任务」。这个组合很有意思：红队经历让他对模型的危险了如指掌，日常使用却停留在最基础的场景。会挑毛病和会用，是两种能力，中间隔着大量具体的尝试。Dan那种把烂摊子直接扔进去的糙办法，恰恰是专家想不到的。

第二，大纲越平庸，价值越在别处。按常理，模型给的大纲平庸，这工具就该被打低分。Dan的用法把评分标准换了：大纲本身不用好，只要里面有那么一两条「显而易见但我漏了」的东西，这十秒钟就值回来了。这是把AI当第一读者用。第一读者的任务从来只有一条：指出你看不见的问题。

第三，验证一个方法，看他用不用。市面上教人用AI的内容一大堆，多数听完就忘。Nathan的判断标准很朴素：拿真活试一遍，下次还用不用。他试了，还用了。这比任何评测榜单都诚实。

明天就能用的三步

Dan的方法拆开就三步，明天早上就能试：

• 找一件卡住的事，把所有相关碎片倒进一个文档：聊天记录、引文、写了半截的句子、临时冒出来的想法。不用整理，越乱越好。
• 整份粘进ChatGPT，指令就一句：「帮我整理成大纲」。别纠结措辞，十秒钟的事。
• 别照单全收大纲。只做一件事：找出里面那条「显而易见但我一直没看见」的东西。找到一条，这次就赚了。
• 给自己立个十秒钟规则：一件事卡壳超过五分钟，先花十秒钟问模型要一份大纲，再决定要不要继续卡。

再补一个Nathan的追加动作：学到方法的48小时内，拿一件有真实交付物的事试一遍。他拿Mamba节目练手。你手头大概也有一篇拖了很久的文章，或者一份没头绪的方案。

同样的逻辑还能挪去别处。开会记了一堆散点，粘进去问一句「这里面哪条结论最显然，却最容易被忽略」；读长报告，粘进去要一份大纲，先找漏掉的东西再精读。核心始终是那一个：让没有感情的一方，替你看见你离得太近而看不见的东西。

另外，这期节目有几处双方共享屏幕的演示，纯听音频不影响理解，想看画面的可以去YouTube版。Nathan预告的那期Mamba大节目，对想跟技术前沿的人也值得蹲一下。

这期节目没有惊人的结论，给出的东西更实在：一个成本十秒钟的习惯，和一个已经被人跑通的例子。天天跟模型打交道的人都要专门学这一手，多数人更没理由靠自己硬憋。