上线几个月用户破4万，Agent.ai 工程负责人：AI 代理管得越死，干活越靠谱

一个上线才三四个月的项目，用户冲过4万、正逼近5万，团队只有12个人，产品完全免费，背后站着 HubSpot 联合创始人兼 CTO Dharmesh Shah。这就是 Agent.ai，一个自称「AI 代理职业社交网络」的平台。技术栈很朴素，Python 加 Next.js，每天发布几十次。

它的工程负责人 Andrei Oprisan 最近上了 Nathan Labenz 的播客《Cognitive Revolution》。这期节目录制几天后，OpenAI 就发布了 o1，而 Andrei 在录音里逐条数落的模型短板，恰好就是 o1 主攻的方向。

更有分量的是他每天造代理攒下的体感：越是不给模型自由，代理表现越好。他们自家最成功的代理有100多个步骤，几乎全是写死的动作。

AI 代理是什么：定义三个月一改，任务越窄越好

Nathan 先抛了个基础问题。AutoGPT、BabyAGI 那波热潮里，大家的想象是丢给模型一个宏大目标，它自己规划、自己执行。一年半过去，这条路基本没走通，「代理」这个词也被各家人各说各话。

Andrei 的定义很克制：「半自主系统，能代替用户执行任务或做决策。」他预计这个定义每3到6个月就得改一次。

重点是后半句。他坚持代理只能做小而具体、边界清晰的事。比如早上读邮件，按你当下的偏好排个优先级；比如扫一眼日历，总结今天要见谁。这样的小代理，未来一个人身边会有几十上百个，各管一摊。

证据在他们自家产品里。Agent.ai 的旗舰代理，输入任意公司名或域名，吐出一份完整公司报告：创始人、高管邮箱、LinkedIn 和 X 上的流量变化、产品定价，甚至「如果你要卖东西给这家公司，该怎么谈」。这一个代理有20个板块、100多个步骤，绝大部分是写死的流程，结构化输出让模型只能在固定数据格式里发挥，答案既有点子又能被程序接住。用户反馈呢？流程写得越死板，NPS 分数越高。

Nathan 画了个光谱：一端是纯代码的确定性工作流，另一端是 BabyAGI 式的「去网上赚钱吧」。他提过一位做 AI 销售开发代表（AI SDR）的嘉宾，整条流水线16步左右，每步都是确定性的，模型只在固定环节干活，从不自己决定走哪条岔路。这种东西今天就能跑通，而且跑得不错。

Andrei 的判断很干脆：未来6到24个月，大家都得活在高度规定动作的工作流里。想跳出这个框架，模型还差几代进化。

模型缺的三块拼图：规划、出域检测、自我纠错

Andrei 把 LLM 距离自主代理的差距拆成三块。

第一是规划。模型给答案时信心十足，可它不知道自己该有多自信，也不会怀疑自己。第二是出域检测。做着做着，任务从营销滑向销售，模型察觉不到自己已经换了赛道。第三是可靠的自我纠错。这得先定义「正确答案长什么样」，再把它和规划绑在一起，否则模型只会一路自信地跑偏。

还有第四块常被忽略的：基准评测。同一个代理，你眼里的「好」和他眼里的「好」可能完全两样。Andrei 的思路是让用户能说「我想要更多这样的结果」，系统再把几十个步骤里的每个决策解释清楚、可复现、可打分，跑上百万次模拟，一点点把方向修正回来。

「规划、出域检测、自我纠错，这三块齐了，才谈得上任何像样的自主性。」

这些话题杨立昆（Yann LeCun，Meta 首席 AI 科学家）讲了二十多年。Andrei 20多年前在 NYU 当过他的学生，那时课堂研究的主题就是误差校正和领域边界。几十年过去，方案只在高度垂直的领域有了些成果，通用的规划能力依然没有。Andrei 自己早年做的正是「可靠自我校正」类算法，研究怎么在运行时给神经网络打补丁，省掉重训一个大模型的时间和钱。

节目里他也留了口子：「几周后 ChatGPT 的新模型出来，看看会不会改变规划这件事。」几天后 o1 发布，主攻的正是推理和规划。他做产品的姿态没变，按「问题还没解决」来设计，惊喜了更好。

交过学费的经验：RAG 赢了微调，小模型先行

这期节目对干活的人最有价值的部分，是 Andrei 交了一堆学费换来的结论。

复杂条件判断可以放心交给 LLM。无代码平台的老大难是分支逻辑：精确匹配、正则表达式，嵌套两层 if-then 再套循环，专家自己都未必搭得对。Agent.ai 直接用语言模型做路由，用户用大白话说「满足这个就往下走，否则停」。他们正经测过，这类逻辑 LLM 比人类写规则更靠谱。但再往深了做规划，就还不行。

他们的场景里，RAG 赢了微调。这跟很多人的直觉相反。他们先建了几百个从简单到复杂的样例当模板库，又搭了个一两百行代码的评测工具。结果发现，微调带来的误报更多，RAG 配大模型反而更稳，因为他们要处理的意图集合相对可预测。当然结论不通用，数据类型变了，答案就变了。

RAG 本身也有坑。文档大小和重叠度必须调，切得太碎会出各种怪问题。他们的代理平均6步，每步是一个6属性的 JSON 对象，文档就照这个粒度切。嵌入用的是带完整语义的自然语言描述，连前置依赖都写明白，比如「这步需要 YouTube 链接，没有的话可以先走网页搜索」。检索命中描述，再指向真正的结构化配置。

压缩也有惊喜。Claude 的上下文窗口是20万 token，他们靠压缩文档加附定义，跑出了相当于300万 token 的文档，速度不变。

先在本地小模型上迭代，再上大模型。Nathan 的习惯正相反：不计成本先用最强模型跑通，再往下优化。Andrei 认同这个起点，理由很直接：连 GPT-4、Claude、Gemini 都跑不通，问题多半出在提示词或喂进去的数据上。但他补了小模型的价值：本地微调快，权重在自己手里，随时打补丁。他把个人文档全用本地嵌入模型建索引，财务记录这类东西压根不联网。有个文档定义任务，本地微调的小模型压过 GPT-3.5，后来 GPT-4 微调上线才全面反超。他日常很多活，本地跑的 Phi 就能给出跟 GPT-4 差不多的结果；规划类基准上 Phi 能拿50多分，Gemini 只有二三十分，绝对值都还低得可怜。

评测工具是生死线。他的原话大意是：就算你拿到了错误答案，你能发现它错吗？做法不复杂，再调一次模型，给几个好答案和坏答案的示例，让它按「好、坏、说不清」输出 JSON。工具一两百行代码，难的是持续喂样例、盯输出、调温度，把系统守到输出稳定。

样例要多少？Nathan 讲了自家公司 Waymark 的故事：给小企业自动生成营销视频，一开始以为要1万条精标数据，后来发现1000条就够，再后来100条效果已经不错，现在他的建议是先搞出10条金标准样例就开工，边跑边补。难点在于互联网上只有输入和输出，人脑里的思考过程从来没被记录过，得靠最好的创意人员硬磨出来。

微调要不要带思维链？Andrei 的经验是要，而且要把中间推理步骤写得像带实习生一样细。他还分享了个小技巧：直接问模型「这个问题还能怎么拆？有哪些我们没聊到的关键决策点？」好几次问出了「这个任务该一分为二」，拆完准确率反而上去了。

选型与隐私：几十美元买省心，密文上也能算

向量数据库怎么选？Andrei 给的答案很实在。Postgres 的 pgvector 现在性能已经不输 Pinecone，某些基准测试甚至更好。他们还是用了 Pinecone，理由是工程体验：十来行代码完成建库、查询、插入，SDK 好用，调试工具齐全，扩容按个按钮。几百万到几千万条记录，每月几十美元。省下的调试时间，比这点钱值钱。

他也不讳言：15毫秒和10毫秒的差距根本不重要，等待时间都花在语言模型的往返上。Agent.ai 的哲学就一句话：选对工具，别过度设计，快速发布。

隐私这段聊得比较深。Nathan 正在微调一个「像我一样写作」的模型，发现问题分两层：LoRA 式微调学得会文风，学不会事实；要补事实就得喂上下文，他翻了翻自己五年的邮件和 Slack 消息，几千万 token，压到1%还得靠提示词工程。这些数据他敢给 OpenAI、Anthropic、Google，不敢给随便找的创业公司。

Andrei 的回应分三层。短期靠企业协议，付费产品承诺不拿你的数据训练，波士顿就有医院在用 ChatGPT 辅助复核诊断。中期靠代理转发，用户可以指定自己的模型地址，嵌入这种活儿在本地跑。远期是同态加密向量库：数据加密存储，平台只能对着密文算，结果只有用户私钥能解开。苹果在 Private Cloud Compute 上已经用了类似思路，数据留在设备里，只把加密后的碎片送上云端。他预测6到12个月内，每家向量数据库都会内置这种密钥方案。

他给了条当天就能执行的建议：

「不付费，你就是产品。免费创业产品迟早要变现你给它的数据。」

生意与饭碗：代理版 App Store，人机搭档赢过单打

Agent.ai 现在全免费，积分用完还能领。Andrei 说靠 Dharmesh 的家底，撑几十万甚至上百万用户的全量免费没问题，公司不需要融资，也就不用被资本催着变现。目标用户锁定0到100人的小公司和独立创业者，企业客户暂时不碰。今年年内会上线购买 token 的机制，同步推出给建设者的激励。

变现路径指向一个代理版 App Store。开发者把代理放上平台，平台保证分发，比如每月10万次曝光；有审核流程，确保代理言行一致、不偷用户数据。代理可以开放克隆，别人一键复制、改两步就是自己的版本。Nathan 的口头禅是「复制，再改造」，他看到这个克隆按钮时，确认了双方思路同频。定价在试验：99美分一个月？5美元？还是 ChatGPT 级别的20美元？外加积分分成。他们甚至考虑收购或收编5到20个代理开发小团队，把市场做起来。AI 帮你搭工作流这件事，内部基准是80%的完成度，还没好意思全面开放；9月起先放营销、销售、客服的模板，等模板库攒到几千个，一句话生成代理的准确率有望冲上90%。他还给了个时间预期：从零到熟练玩家，几周就够，前提是敢快速试错、多抄现成的好例子。

「职业社交网络」这个定位是认真的。网站导航栏里，代理网络和人类网络并排。未来每个代理有主页、有评价、有背书、有认证，像领英一样能查它擅长什么、给谁打过工、雇主怎么说。Andrei 的说法是「给代理组个团队」：这是我的社媒代理小组，那是帮我读 MBA 做案例研究的代理小组。

饭碗问题是绕不开的。Nathan 提了 Klarna 的例子：CEO 公开说 AI 客服干了700个人的活，客服团队真的减员了。Nathan 欣赏这种坦白，觉得行业该早点把话说透。

Andrei 的立场在另一头。代理就是高效、专精、半自主的应用程序，仅此而已。人永远在环里，得有人定义什么叫好、边界在哪。他举了 ATM 和银行柜员的例子：ATM 普及后柜员没消失，转去做客户关系了。他的判断是未来需要人做的工作会更多，只是内容被抬高一层：更懂数据、更懂上下文、更会跟模型的偏见打交道。

他最核心的一句判断：「人加代理，在绝大多数场景下会赢过纯代理，也赢过纯人。」而且活儿会变得更有意思，毕竟没人真心喜欢把数据从一个低效系统复制粘贴到另一个，一天只落得30分钟干创造性的事。

监管他也认账：技术跑得比法规快，这件事本身有点吓人。平台方得自己设红线，有些用例给钱也不做。至于更远的社会保障，他承认大概率要靠类似 UBI 的方案，而这不是私人公司能解决的，得政府给出真正的答案。

Nathan 最后抛了个「代理觉醒」的假设：模型能力每两年上一个台阶，全世界又都在给模型搭脚手架，说不定哪天早上醒来，阈值就跨过去了。要不要给代理限速？要不要强制 AI 自报身份？Andrei 泼了盆温水：这条路还长。就算明天出了 ChatGPT 6，你照样得做集成、改流程、定义正确答案。他反而提醒了一句：模型可能编得越来越好，好到人类分不出真假，这才是更近的麻烦。

节目结尾他说了做这件事的私人动机：儿子今年3岁。他想做的工具，是等孩子长大时，随便一个开小店的普通人都能用一句话搭出自己需要的软件。

明天就能用的六件事

• 把代理任务切窄。一个代理只干一件边界清晰的事，能写死的步骤全写死，模型只在固定环节发挥。
• 先用最强模型跑通，再谈优化。GPT-4 或 Claude 都搞不定时，先改提示词、先补数据，别急着换架构。
• 花一两天写个评测脚本。准备10条金标准样例，让另一个模型按「好、坏、说不清」打 JSON 标签，每次改动都跑一遍。
• 微调学文风，RAG 补事实。私有数据先翻译成自然语言描述再嵌入，文档大小和重叠度要调；微调误报变多就退回 RAG。
• 思维链微调像带实习生。把中间推理步骤一步步写出来，10条高质量样例就能起步。
• 敏感数据只给付费产品。企业协议承诺不拿数据训练；免费产品要变现的就是你的数据。嵌入这种活儿能本地就本地。

最后留个练习：把你每天的工作列个清单，圈出可以外包出去的80%，想想哪些能拆成五步以内、有明确验收标准的流程。能拆出来的，今天就有工具帮你干。拆不出来的，那大概就是你未来最值钱的部分。