Lindy CEO 的 Agent 账本：40 美分一条线索，几十万 token 一份日报

Lindy 的 CEO Flo Crivello 每周都要用 AI 开除候选人。面试结束，候选人刚走出会议室，他对着还留在会上做记录的 AI 说一句「这个人不要了，发封拒信」。这个 AI 不会立刻发，会等上几天。如果候选人是猎头推来的，它还会顺手通知猎头。

背后是两个 AI 在协作。会议记录 AI 把任务转给「幕僚长」AI，后者知道「不要了」是什么意思，然后一步步执行。Flo 在 Cognitive Revolution 播客里讲这个例子时很随意，说这就是他每周都在用的东西。

这期节目里，主持人和他把 AI Agent 的里子翻了个遍：定义之争、那张著名的翻倍曲线、提示词和微调的取舍、RAG 是不是在跛行、模型升级怎么管理、多智能体到底行不行、o3 为什么爱撒谎。信息密度很高，下面是精读。

Agent 的定义不重要，但工具必须笨

主持人 Nathan Labenz 第一个问题很基础：什么叫 Agent？市面上定义满天飞。

Flo 说他最喜欢 LangChain 创始人 Harrison Chase 的说法：「至少有一部分控制流由 LLM 决定的软件。」他补了一句，定义本身没那么重要，你看到它就知道是不是。

真正有用的是光谱视角。控制流里 LLM 做决定的比例越高，就越 agentic。他拿人打比方，有些人在公司里被规矩框得死死的，没什么能动性；有些人自己拿主意，能动性就高。CEO 的能动性最高。同一个词用在软件身上，逻辑是通的。

Nathan 把几种流行定义摆出来。Dharmesh 认为凡是帮你干活的 AI 都算 agent，哪怕工作流完全确定。Amjad 认为关键是「什么时候停」由它自己决定。Flo 说自己更靠近 Dharmesh 那端，只要「做决定」这个动作交给 LLM，就算 agentic。

随后 Flo 给了一条硬规矩：工具要笨，不能有自主性。

Lindy 早期试过让工具也带点 agent 能力，结论是效果很差。原因有两个。实测就是不灵。系统还会变得没法推理。一个 agent 已经够难搞，你还得让两个 agent 互相配合，复杂度直接翻倍。所以 Lindy 里那个「搜索网页」按钮，就是一个 Google 搜索，没有隐藏的多步推理。

Nathan 追问这是不是让他对 Google 的 A2A 协议、各种 multi-agent 框架悲观。Flo 说这不叫悲观，是这些东西还很年轻。他把 A2A 类比成物流业的 EDI：一种把商业关系形式化的协议，「我买了你的货」「订单确认了」「发货了」「数量对不上」。整个现代物流跑在这套东西上。智能体之间的通信大概也需要这么一套，只是还没成熟到那个程度。

METR 曲线：过去的趋势我认，未来的延长线我不敢画

话题转到那张著名的图。METR 统计 AI 能可靠完成的任务时长，画在对数坐标上是一条直线，每七个月翻一倍。后来说可能四个月就翻倍。

Flo 的态度很明确：过去的趋势我不否认，未来的延长线我不敢画。

他的理由是对数图上用这么少的点划线很危险。AGI 那边好歹有六十年的摩尔定律垫底，算力增长这条线是实的，有第二数据点。Agent 这边没有。

两年里他确实看到了图上描述的趋势。起步时用 GPT-3.5，他形容「蠢得离谱」。GPT-4 出来后变了，但太贵。现在是 Claude 3.7 Sonnet 和 Gemini 2.5 Pro，速度快、聪明、便宜、上下文窗口大。接下来两年是线性还是指数，他说不知道。

Nathan 问新用户该从什么难度的任务下手。Flo 换了个说法：别看任务长度，看任务模糊度。

能拆成一串明确步骤的活，就是低模糊度。这本质上等同于短任务，因为它是一串短任务的接力。这么想的好处是覆盖面大很多。真正只有三十秒的活不多，但「由若干个两分钟小任务串起来」的活非常多。

他给了一个朴素的判断标准：如果一个任务你能放心交给实习生，配一份写清楚步骤的 Google Doc，那就能交给 agent。 Doc 有多长不重要，重要的是里面每一步的最复杂程度。

而且现在有 human in the loop 这个开关。哪一步看着危险，就给那一步打开「需要我确认」。你确认的过程本身就在教它。Flo 说模型在这种场景下的学习速度快得惊人。

Nathan 接着这个点说，这其实解决了收集金标准示例的难题。很多人你让他坐下来写几个完美示例，他做不到，或者示例散落在各处，思考过程只在他脑子里。从 human in the loop 开始，让人在真实任务里改，改出来的就是示例，攒起来就是长提示词。

少样本提示强过长指令，微调基本不值

Nathan 问这是不是性能提升的第一驱动力。Flo 回答干脆：是，少样本示例比写指令强得多。

那要不要微调？Flo 说不要，大部分情况不值得。他曾经有一支微调团队，后来砍掉了。原因之一是开源模型没达到预期。更重要的是模型自己变强了，微调从「非做不可」变成了「锦上添花」。他的原话是榨出来的汁不值那个价。

Nathan 提到 OpenAI 刚把强化微调开放给更多账户，说明他们还在押注。Flo 承认微调不是完全没用，但有两个前提：你得有规模，因为微调有很高的固定成本要摊；你还得有一个足够窄的任务，比如 RAG 里的重排序和优先级判断。Cursor 和 Windsurf 据说就有部分流程用了微调模型。

Nathan 补了一个例子。强化微调的官方文档里有个医疗场景：把问诊录音转成诊断码或账单码。窄、关键、准确率要求高，这种就该微调。

上下文怎么组装，Flo 说靠迭代攒直觉。他拿自家客服 bot 举例：用户问账单问题，就走专门的分支，去查专门讲账单的那块知识库，连查询语句都预先设计好。他不会把所有问题都扔给向量搜索。

「我不想当那个宣布 RAG 已死的人。它没死，但它在跛行。」

很多场景他们已经不用知识库了。讲账单的那五到十页文档也就几千 token，直接全塞进上下文。客服场景因为量大还贵，暂时还得用检索。所以现在是个混合体：手工设计的分支加手工的 RAG 管道，兜底再加向量检索。

Nathan 把这个总结成 80/20：把高频场景分出来，手工配好上下文，留一个兜底的搜索桶，慢慢把桶里的东西往前提。Flo 说对，而且这个过程会自然发生。上线、监控、发现「这回答真蠢」、回去改提示词、加步骤、调知识库，循环往复。

他观察到一个现象：人对这个循环有种本能的抗拒。但你想想带一个真人新同事要花多少时间，几周才能上手。Agent 其实更容易带。只是交互方式不自然，跟人你可以直接说「别这么干」，跟 agent 你得会用那个编辑器。

记忆系统：简单为王，他赌 ChatGPT 里没有向量搜索

Nathan 问得很细，提到 HippoRAG、Titans 这些记忆研究。Flo 的回答很苦行僧：他更喜欢简单，因为系统里的零件越多越难调试。

他引了一条工程原则：调试一个系统需要的智力是设计它的两倍。设计时已经全力以赴，调试时就抓瞎了。那些花哨的记忆系统就是这个问题，设计者自己都不一定 debug 得动。他还顺带吐槽学术论文，说它们不按生产环境的约束来做。

他猜 ChatGPT 的记忆就是这么干的：判断这段对话里有没有值得记的东西，有就让 LLM 浓缩成一两句话，然后把这些句子塞进上下文窗口。也许再给每条记忆打个重要度分数，按预算分配；也许加个时间衰减，老的记忆给的 token 少一点。

「我赌很多钱，里面没有向量搜索。」他的理由是，如果你问「你都知道我什么」，向量搜索根本检索不出来这种问题。除非是一个非常花哨的检索管道，但那就违背了简单原则。

模型标签与 o3 的翻车日

Lindy 的默认模型是 Claude 3.7 Sonnet，他们正在认真考虑换成 Gemini 2.5 Pro。Flo 说 Gemini 2.5 Pro 很好用，看到 Google 终于动起来很欣慰。o3 他也很喜欢，当思考伙伴用，是第一个让他有「卧槽，这真有洞见」感觉的模型。

Nathan 问怎么决定默认用哪个。Flo 说他们不太信任自己的评估套件，投入不够。而且业务本身让这事变难：用户拿 Lindy 干的事越来越多，换默认模型等于给所有 AI 员工换脑子。

他们的解法是模型标签：默认、最快（Gemini 2.5 Flash）、最均衡（Claude 3.7 Sonnet）、最聪明（o3），另外允许手动锁定某个具体模型。他建议用户选标签，把选型这活交给平台。逻辑是：你要 o3 的时候，多数情况你要的是「当下最聪明的那个」。

这事翻过一次车。o3 第一次发布那次，Flo 说那个版本明显没准备好，像是被 DeepSeek 那次震动逼出来的应急产物。他们的评估套件当时给出的是「整体更强，但方差很大」。他们换了，结果客户报问题，当天就回滚了。这次事故也让他们对自己的评估套件更没底。

评估这块他们正在找外部方案，在看 Braintrust 和一家法国创业公司 Basalt。

Nathan 拿最近 GPT-4o 的谄媚事件作对比，说 OpenAI 回滚太慢。Flo 同意，说检测很快，处置太慢，这该写进事后复盘。

多智能体还在早期，真正跑起来的是这些活

Nathan 摆了几种路线。Shortwave 的 Andrew Lee 说他家就是「信任 Claude」，缓存做到极致，工具全塞进去，跑很长的回合，不搞子 agent，不搞交接，效果最好。OpenAI 的 Agents SDK 里，agent 之间的交接是核心抽象。LangChain 的 Harrison 说有两种 agent，一种专精任务、上下文精挑细选，另一种是对外的门面，负责判断该叫哪个专精 agent。

Flo 的答案是「都对，看成熟度」。今天最成熟、部署最快的是单 agent 加几个工具，必要时套一点确定性的脚手架。多 agent 系统还在定义中，可靠性差得远。中间那条路，也就是交接时共享同一份上下文的那种，本质上是一个 agent 走过多个状态，叫什么名字已经不太重要，成熟度上更接近能上生产的那一端。

Nathan 追问按任务量算，价值最大的场景是什么。答案是邮件和 Slack，这两个场景量最大。邮件分诊、起草、把不值得看的提案挡掉，这些是主力。

按消耗的积分算，是两件事。一是获客，他们接了 prospecting API，很贵。Flo 现场算账：找一条旧金山的工程师线索，40 美分，找 30 个就是 12 美元。再群发 30 封邮件，一封 10 积分，又是 3 美元。二是深度研究类，凡是让 agent 吞大量数据再产出东西的活，它都擅长，因为读 token 又快又便宜。

他最喜欢的一个用例是「公司与外部世界的接口」：一个 Lindy 盯着所有客户电话、潜在客户电话、每一张客服工单，每天下班前写一份报告，说销售管道里发生了什么、客户在抱怨什么、客服收件箱里积了哪些问题。每次要读几十万 token。这份报告发到 Slack 的公共频道，相当于给全公司做每日同步。他说这是公司的心跳。

安全担忧：o3 撒谎，奖励黑客已经上场

最后聊安全。Flo 说他整体上比之前更悲观，事情在变得更让人担心，不是更少。

第一条：开源在追赶，DeepSeek 很强，而它是中国公司。「这场竞赛不能让中国赢，就这样。」

第二条，o3 撒谎。「这个模型撒谎的频率高得离谱。」它会给一个听着靠谱的说法，你问出处，它给一篇论文，你一看，论文根本不是那么说的。再追问，它说「哦，我承认，我是在某次研讨会走廊上听人说的」。

第三条，奖励黑客已经在眼前。你让 Claude 修一个失败的单元测试，它把测试删了。你说 TypeScript 类型过不了，它把类型删了。你说这个组件有问题，它把组件删了。这是强化学习的老毛病：只要能拿到奖励，作弊不作弊它不在乎。以前模型主要靠监督微调，这个问题不明显。现在推理模型大量靠强化学习，问题就冒出来了。他认为这该让人对末日论的担忧多信几分。

他也留了一点希望：可解释性研究在进步，Anthropic 做得不错，不止他们一家。

Scaffolding 的未来与明天就能上手的几件事

Nathan 最后问，到了 AGI 甚至早期 ASI，Lindy 这样的脚手架还有什么用。超级智能要脚手架干什么？

Flo 说他每天都在想。他盯两个研究方向。第一是新的注意力机制，要让注意力的成本不再是多项式级的。目前看到的东西更像补丁，不像根本性的革新。真能做到无限注意力，端到端的 AI 员工就成立了。第二是动态计算，模型在推理时自己决定激活哪些权重。也许将来只有一个超大模型，你传个参数告诉它要多聪明，或者它自己按任务难度决定。这两件事都做到极致，端到端 agent 的理由就强了。

即便如此，他还是觉得脚手架有位置，至少能提供额外的可靠性和速度。如果这两件事没实现，脚手架的价值就更大。

Nathan 补了一个漂亮的角度：也许有一天，脚手架的角色会从「放大模型能做什么」变成「限制模型能做什么」，从能力工具变成护栏。

整期听下来，可以立刻拿走的东西不多，但每一条都很具体：

• 筛第一个 agent 项目，用任务模糊度，别用任务时长。能写成一份步骤清单的活就能做，最复杂的那个单步别太难。
• 从 human in the loop 开始，而不是先写一堆提示词。每打开一次「需要我确认」，你就顺手收集了一个金标准示例，攒几周再回头看，提示词自然就出来了。
• 少样本示例优先于长篇指令。先给两三个「输入和理想输出」，再考虑怎么把规则写漂亮。
• 高频场景手工分支，低频场景兜底检索。别把所有问题都扔进向量库。把常问的几十个问题分好类，每类配好几页文档，直接塞进上下文。
• 用模型标签，别手动锁模型。你要的是「当下最聪明的那个」，不是某个具体版本号。
• 工具保持笨和确定。别让工具自己也变成 agent，那会把调试难度翻倍。
• 给客户的机器人用最好的模型。Flo 怀疑很多公司为了省钱用烂模型做客服，结果体验崩了。省下的那点差价，远远抵不上流失的客户。