解决率从 35% 爬到 65%，Intercom 说大模型只贡献了几个点

2023 年 Fin 刚上线时，解决率是 35%。两年半之后到了 65% 左右，平均每个月涨 1 个百分点，连涨了 30 个月。这 30 个点里，底层大模型换代只贡献了几个点。

剩下二十多个点从哪来？检索、重排、提示词、工作流，一堆听起来不性感的东西。这是 Intercom CEO Eoghan McCabe 和首席 AI 官 Fergal Reid 在 Cognitive Revolution 里给出的答案，主持人 Nathan Labenz 自己的公司 Waymark 用了多年 Intercom，Anthropic、Gamma、Lovable 也在 Fin 官网挂着客户评价。

Intercom 一千多人，Fin 服务超过 40 万家企业，AI 团队 50 多人，里面有真正的科学家和研究员。两个嘉宾聊得相当坦率，包括他们还没搞明白的部分。

智能早就够了，缺的是模型外面那圈东西

Fin 第一版跑在 GPT-4 上，Intercom 提前几个月拿到访问权。Fergal 的判断很直接：客服这件事的认知难度，比数学奥林匹克低得多，所以一个给定水平的模型智能会先在这类任务上饱和。GPT-4 的智能对绝大多数客服工作已经够用。

他把整个增长曲线拆开看：从 35% 到 65%，纯粹的模型能力提升只占几个百分点。GPT-4 换到 GPT-4 Turbo，模型小了很多、效率高了很多，能力差不多。再迁到 Sonnet，又拿到几个点。仅此而已。

「我们有很成熟的回测框架，但我们也有一条被反复验证的经验：永远去生产环境测，永远用大规模的 A/B 测试。」

既然智能饱和了，就可以往小模型走。Fin 里有个环节叫摘要：终端用户的提问经常夹着一堆无关信息，直接塞进检索管道会污染结果，所以要先做一次规范化。这个环节最早用 GPT-3.5 Turbo，后来换过 GPT-4.1，也试过 Haiku，体验不理想。现在的方案是自研的 encoder-decoder 模型，加上一个微调过的 Qwen3，效果比第三方大模型更便宜、延迟更低、更可预测、质量更高。

他们还第一次训练了自己的重排模型，在内部测试里打败了之前用的 Cohere 顶级模型。这类任务智能已经饱和，把大模型换成就自己训练的小模型，是纯粹的工程收益。

有些部分还不能省。Fin 要跟外部系统交互，比如查订单、改地址、发起退款，可靠性门槛极高，这部分仍然用 Anthropic 的 Sonnet。最难的答复提示词也还在用第三方前沿模型。Fergal 说 Fin 已经是一个「AI 服务的云」，十几二十个提示词，加上语音、邮件各自的架构，每一块都得单独讨论。

Eoghan 补了一个产品侧的对照。技术上完全可以做一个 3D 数字人头像，在聊天窗口里跟你说话，他觉得这酷毙了，作为 builder 特别想第一个做出来。但他判断这东西今天不推动业务，别人先做也不伤 Intercom 的生意。真正该抢的是可靠性和解决率。

每个月 1%，靠的是模型外面那一圈

Fin 的架构是积木式的：模型当零件用，每个零件被小心隔离、单独测试、单独优化。Fergal 说这套做法跑得很顺，而且有些积木是长期有效的，比如 RAG 系统里的检索引擎、重排器，这些不会因为模型换代而消失。

增长的节奏很有意思。团队每六周左右会列三个想试的东西，Fergal 事前通常不太有信心。结果往往是两个成一个不成，或者一个成两个不成，净下来就是每月 1 个百分点。偶尔有月份做到 2%。这个「每月 1%」的规律持续了 30 个月，像某种摩尔定律。

他们还有一个数据能证明提升来自引擎本身：新签的客户和老客户拿到的解决率差不多。如果增长全靠客户自己把帮助中心内容整理好，新客户应该显著落后。实际没有，说明大部分改进来自 Fin 内核。

代价是成本。Fin 今天做的工作比两年前多得多，解决的是更难的问题，塞进 RAG 的上下文更多，切分策略更复杂，外面还挂着一堆辅助系统，比如洞察产品、内容校验。每 token 的价格在跌，总 token 消耗在涨。Eoghan 说得很清楚，北极星是解决率，不是成本优化。

离线评测会骗人，去生产环境打 A/B

Fergal 对半年前那波「每个产品团队都要精通 eval」的潮流持怀疑态度。他的原话是，每当有人把某个东西吹成能解决所有问题的银弹，你都该警惕。

回测有用，能告诉你「这里有信号」。但它测不出真实世界的混乱。人类沟通太脏了，你没法为它建一个完美的评测集。他们见过太多次：某个新技术在回测里表现优异，上了生产却扑街。

所以真正的裁判是生产环境的大规模 A/B 测试。Intercom 对解决率的变化敏感到十分之一个百分点，这种精度只有靠海量真实流量才能测出来。

这也是他们把 40 万企业客户当成护城河的原因。客户数量多、行业分散、场景多样，能支撑起统计功效极强的实验。小竞争者拿不到这种样本量。别人拼模型，他们拼实验规模。

Fergal 给的建议很直白：别爱上你的离线指标。

99 美分一次解决，人工要 26 美元

Fin 上线前，团队内部测算每次解决的成本是 1.21 美元。Eoghan 拍板定价 0.99 美元，理由是这个数字好看、好记、好算。前期每单都亏，但很快扭亏，做到了软件级别的毛利率。

外界常说 AI agent 产品毛利为负，Eoghan 直接反驳：至少在他们这里，这个说法不成立。

他给了一个关键对照数字。Intercom 自己算过，人工处理一次客服请求的全成本是 26 美元，含薪资、办公、福利所有开销。市面上有公司宣称能压到 5 美元，Eoghan 不相信他们算对了账。

定价的真正价值在于对齐。按对话数收费，Fin 越笨，对话越多，收入越高，公司没有动力把产品做好。按解决次数收费，Fergal 团队每月提升 1 个百分点，客户省钱，Intercom 的 CFO 也开心。

Eoghan 提到一本老书《Pricing on Purpose》，里面的分析是价值定价长期利润高于成本定价。成本定价看起来自带利润，问题是它没法做价格歧视，愿意付更多的人和不愿意付的人付一样的钱。

他坦承这套方案有教育成本。Zendesk 和 Sierra 后来也宣布自己首创按结果定价，Eoghan 说他们才是第一家。但客户调研显示，没人想换回按对话收费。

未来会有分层。某些解决能帮客户省下几个小时人工的，价格会往上走，1.99、2.99 还是 4.99，Eoghan 说他也不知道，但一定还是便宜到让客户觉得不用想。同时他们有个很深的洞察产品至今不收钱，因为它能让客户把 Fin 用得更好，解决率更高。

没有大裁员，只有不再扩招

2024 年 2 月 Klarna 宣布 all in AI，少了 700 个全职岗位，成了行业里最响的一个案例。Eoghan 直说不信这个故事，理由很简单：他没看到第二家公司做到同样的事。他还记得 Klarna 后来往回退了一步。这个判断有屁股决定脑袋的成分，但他给了一个更普适的框架。

颠覆性技术的第一个阶段是扩大供给，而不是替代人。客服行业过去有个长期事实：大部分公司根本负担不起给所有客户提供支持。免费用户没有客服，付费用户等好几天。Fin 上线后，这些公司开始给免费用户开支持，开始回更多问题，客户问得也更多。

Fergal 补了另一个数字：他没见过一个不「水下」30% 的客服团队。意思是每个团队想要的人手都比实际多三成。Fin 第一天进来解决 30% 到 50% 的量，刚好把团队从水下拉回水面。这是皆大欢喜的版本，也是他们期待过的版本。

唯一的例外是外包。把一线客服外包给 BPO 的公司，部署 Fin 之后经常直接把 BPO 砍掉。内部团队通常不裁，而是往价值链上游走，处理更复杂的案子。

Intercom 自己是最大的样本。上线 Fin 之前，支持团队预计第一年要扩 25%。这个扩张没发生，团队规模原地不动，而 Fin 的解决率还在涨。

Fergal 提了一个悬念：CFO 们还没开始算这笔账。如果来一次经济下行，关于「AI 之后运营效率到底该是什么样」的对话会变得难听得多。

速度快是优势，太快是灾难

主持人讲了他自己公司的数据。Waymark 一直很重视客服，人工响应中位数两分钟，对小公司算不错。但两分钟足够用户切去干别的事，等回来再看回复，再回一句，实际闭环经常超过 30 分钟。AI 的即时响应是人工追不上的优势。

Eoghan 说这事有个反转。如果 AI 回得太快，用户反而不信，会以为这是预置的宏答案。如果慢到 20 秒，用户又会生气，觉得「果然是 AI」。如果给它几分钟，它其实答得更好，因为可以多思考一会儿。他为此专门压过团队，要求响应要快，现在又开始重新权衡。

新模型带来的一个变化是，运行时可以申请更多思考时间。同一套基础技术，多给几秒推理，质量就上去了。Eoghan 的判断是模型会越来越快、越来越便宜，这个时间窗口的矛盾会自然消解。

他还提到一个社会心理现象：用户会原谅 AI 的怪癖。Waymo 被一辆路边停靠的车卡住，用户会当成趣事讲。客服场景里，人们本来就不喜欢找人工，等几天、遇到一个不想干活的人、拿到一个半吊子答案，整个过程都很糟。换成一个秒回、热情、专业、愿意听你说话的 agent，用户会问更多问题。

从客服 agent 到客户 agent

发布会定在 10 月 9 日纽约，线上同步直播。Eoghan 提前透了方向：从「服务 agent」扩到「客户 agent」，覆盖整个客户生命周期，包括销售和 onboarding。

逻辑是协调。你不会想让销售 agent、服务 agent、onboarding agent 各自为政，目标互相打架，风格不统一，接口都不一样，还没法统一追踪效果。客户问题的解决需要一个统一的编排层。

架构上有一个真实的取舍。Anthropic 等公司在推更 agentic 的形态：给模型一堆工具，让它自己选。Fergal 说得很实在，今天如果切过去，Fin 在问答任务上的质量会下降。他们做过原型，但没上。将来如果下一代架构成熟，会拿去做生产级 A/B 测试，跟过去四次架构迁移一样。

模型还缺什么？Fergal 列了两条。一是记忆，模型现在基本是无状态运行的，外挂记忆能work但不够好用。二是在一个问题上持续钻研、边做边学的能力。一个刚毕业的实习生第一次做任务可能不如 Sonnet，但他会越做越好，模型不会。有些研究原型在用强化学习让模型在解题过程中更新权重，还没部署，也有风险。

部署侧的人类因素被反复强调。安全团队的审批、组织内部的渗透、监管对 AI 犯错的容忍度远低于人类犯错，这些都是慢变量。Eoghan 说，如果今天有人能复制 Fergal 团队搭出来的那套系统，技术上是够的，卡住的是把技术对准具体场景的苦活。

公司内部，CTO Dara Curran 几个季度前定了一个目标：工程产出翻倍。Fergal 说他心情复杂。放进绩效系统有风险，人会为了指标做错误优化。但另一方面，人有惯性和忙碌，不推一把就不会真的 adoption。他自己是 Claude Code 早期用户，公开发布那周熬到深夜搭原型，周五全员会上 demo，台下有人说「我们已经在用 Cursor 了」。他的回应是：Cursor 很好，但这个东西不一样。

他给的姿态是乐观加怀疑。先热情地试，再严格地问：它真的让我更快了，还是更慢了？有用就加倍下注，没用就扔掉。

这场对话里能直接拿走的几件事：

• 如果你的 AI 产品有真实流量，把生产环境 A/B 测试当主裁判，离线 eval 只用来筛信号。别在回测分数上做重大决策。
• 先算清人工处理一次的真实全成本，含薪资、办公、福利、管理开销。这个数字决定你的定价空间和客户的 ROI 叙事。
• 检查一下你的架构里哪些环节智能已经饱和。摘要、分类、规范化这类任务，自研小模型或微调开源模型往往比调大模型更便宜、更快、更稳。
• 北极星指标选「解决率」而不是「对话数」。前者让供应商和客户的利益同向，后者相反。
• 回复速度别一味求快。留几秒到几分钟的思考预算，质量可能更好，用户的信任感也更强。
• 每六周列三个待验证的改进，接受「两个成一个不成」的命中率，月度 1% 的复利比憋大招可靠。

最后一条是 Fergal 的原话精神：每个月涨 1 个百分点，涨 30 个月，就是 30 个点。做 AI 产品没有单点突破，只有持续的实验纪律。