No. 110·精读

谷歌甩给你3300万条结果,Exa只想给你54条:把搜索引擎重造一遍

The Example Engine: How Exa Is Creating the AI Librarian for the Web with Will Bryk, CEO of Exa

Exa 联合创始人兼 CEO Will Bryk 讲述如何以神经与非神经方法实现研究型搜索,以及为何要自建向量数据库。

节目音频00:00 / 1:06:55
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

在谷歌搜“把AI用于法律的创业公司”,结果页顶部会写着“约33,000,000条结果”。Exa的创始人兼CEO Will Bryk觉得这个数字很荒谬:没有人需要3300万条结果,人要的是一份清单。

Exa(前身叫Metaphor)的处理方式完全不同。它把整个互联网当成一个数据库,每次查询都是一次过滤。搜“用AI做法律的创业公司”,返回367家;加上“湾区”这个条件,过滤到54家。数字小到你亲自看完都来得及,而且每一条都对得上你的问题。

2024年3月5日,Cognitive Revolution播客主持人Nathan Labenz和这位年轻创始人聊了一个多小时。Exa当时公开的融资只有500万美元,团队规模是个位数,却自己训练搜索基础模型、自己爬网页、自己写向量数据库。这期节目把这套系统的每个零件都拆开讲了。

搜索和研究,是两件事

Bryk先给了一个区分。谷歌是搜索引擎,服务的是“你知道自己要找什么”的场景;当你不知道自己要找什么时,你做的是研究,这才是Exa的主场。

“搜‘Taylor Swift的男朋友’,你敲进谷歌,拿到答案。搜你自己的名字,拿到关于你的内容。但当你不知道要找什么时,你做的是研究。那是Exa发光的地方。”

他打了个比方:Exa更像一座图书馆。你走到图书管理员面前说,我想找用AI做法律的创业公司。这类公司有的根本不会在官网写“AI”和“法律”这两个词,可能只说“我们用某种机器学习算法处理法律文件”。关键词搜索抓不到它们,但一个真正懂内容的图书管理员可以。

他的判断很直接:谷歌实际上限制了人们对“网上能找到什么”的想象力。最直接的证据:你每次离开谷歌,去LinkedIn找人、去PitchBook查公司、去Twitter看高质量新闻,甚至去交友软件找约会对象,都是因为谷歌没接住你,它没有能力把网上的海量信息筛成你恰好要的那一份。

他在节目里举了几个谷歌完全接不住的查询:找一批“在湾区、创始人有Rust语言经验的研究员”;找“深入论证Rust在多进程场景下比Python强的高质量文章”;或者拿着一个你喜欢的网页设计师的主页,找出风格相似的其他设计师。这些需求你连往谷歌里输的欲望都没有,因为你知道它给不了。

主持人Nathan这几年把新一代信息工具试了个遍,还给每家起了外号:Perplexity是答案引擎,要的是最快最准的答案;you.com的Research Mode是自主研究助理,会多轮搜索、读页、综合,产出多页深度报告;Elicit是结构化文献综述工具,把论文摆成表格逐栏评估。这几家的当家人,Perplexity的Aravind Srinivas、you.com的Richard Socher,还有Elicit的创始团队,都上过他的节目。轮到Exa,他起了个新名字:例子引擎(example engine)。输入不一样,结果不一样,呈现反而最传统,就是一份链接列表。他说用下来真正拉开差距的是三样东西:结果质量、可控性、深度。

Bryk对名字的态度很坦诚:连造了它几年的人也说不清该叫什么,或许该叫研究引擎。现在的界面只是把API返回的东西直接亮出来,链接列表肯定不是消费级搜索的最终形态,语言模型会占有一席之地,他们之后想做一个更像研究者工作台的界面。

造法:让模型猜链接,猜几亿次

Exa自称研究型创业公司,有自己的GPU集群,自己训练搜索基础模型。核心训练思路在节目里讲得很清楚。

互联网上到处是“人在谈论链接”的场景。比如Reddit评论区有人写:“看看这家很酷的航空航天创业公司”,后面跟一个链接。Exa把链接藏起来,让模型根据前半段文本预测后面跟的是哪个链接。这样的训练做了数亿次,模型就学会了:当有人想要“一家很棒的航空航天创业公司”时,互联网上的人通常会指向哪个网址。

Bryk管这个叫“学习出来的PageRank”。如果人们说“一篇好的融资教程”时总在引用Paul Graham的文章,模型就学会了,下次有人搜“好的融资教程”,直接上Paul Graham那篇。

主持人追问了一个关键细节:这套机制和让GPT逐个token生成网址完全是两回事。直接生成URL,模型会大量编造不存在的链接。Exa的模型预测的是文档ID,输出在嵌入向量空间里完成。而且不能拿现成的transformer直接微调来做这件事,那等于逼模型死记硬背网址,行不通。他们花了一整年研究新的训练目标,愿意为产品上线先做一年研究的创业公司,很少见。

和谷歌的架构对比也很有意思。Bryk的判断是,谷歌的BERT类技术更像最后一道重排序:先用关键词体系从全网筛出一小批结果,再用神经网络重排。问题是,如果相关的东西没进那第一道筛选,后面的重排序再聪明也救不回来。

Exa从第一步就是神经网络的。他承认谷歌的系统远比“关键词”两个字复杂,有知识图谱,查奥巴马时会自动补上实体信息,但底色仍然是关键词匹配。

索引策略同样反常规。他们没有爬全网。谷歌要持续爬几千亿个网页,那是巨头才养得起的开支。Exa只爬一个高质量子集,客户关心的那一部分。省下来的资源,正好用来跑更复杂的算法。

爬什么也有讲究。模型的训练目标是预测“人们会分享的链接”。没人会分享一篇塞满广告的SEO菜谱文,人们分享的是那篇真正好的菜谱。这套机制天然反SEO:模型学到的是原始、干净、值得被推荐的内容。

向量数据库也是自研的。原因很具体:他们要做的远不止最近邻查找,查询里叠着各种过滤条件。市面上的开源向量库,不支持“先用一个嵌入搜,再用另一个嵌入过滤”这类操作,而且通用库为了照顾所有场景牺牲了速度。Bryk算过账,特定场景下优化出2到5倍的性能,收益巨大。

主持人问,这套数据库会不会单独卖钱。他拒绝了。要做成这件事,爬虫、解析、模型、线上服务,每一层都得自己做到极致,但公司的使命只有一个:把全世界的知识过滤成你要的那一份,别分心。

评测同样只能自己造。拿谷歌型查询评Exa,谷歌赢;拿Exa型查询评谷歌,Exa赢;公开数据集又全是为旧式搜索设计的。他们的解法是把主观问题拆成客观能力:查“Paul Graham的文章”,返回的是Paul Graham写的吗?查“关于太空探索”,结果真是这个主题吗?按能力逐项打分,主观评测就变成了客观评测,只是数据集全是内部的。

AI当搜索者:要的东西和人不一样

Exa的定位是“为AI系统造的搜索引擎”。Bryk列了四条,AI这个搜索者和人类几乎处处相反。

  • 人类懒,最多敲几个关键词;AI能瞬间生成一两段话,把要什么写得清清楚楚,搜索引擎得接得住这种复杂查询。
  • 人类搜完点开两三个链接看看就走;AI能一口吞下一百条结果,所以返回数量要够。
  • 人类搜"Taylor Swift"时自己也不清楚想要什么,希望结果多样;AI要什么非常明确,要100家公司就返回100家公司,中间别混进博客、LinkedIn帖子和Reddit讨论。
  • 人类要链接和标题,AI要整个网页的正文内容,它不想再开浏览器去读。

他的原话是:把这样一个全新的物种,接到一个为有机人类设计的东西上,配对效果不会好。我们找信息的方式是人类体验里这么重要的一部分,凭什么给这个超级新事物用旧技术?

这也解释了Exa一个古怪的使用方式。因为模型是按“链接跟在文本后面”训练的,最好的提问姿势是让文本看起来“下一秒就该出链接”。比如想要创业公司,就在提示词结尾写"(startup:",网页上这个符号后面通常就是创业公司官网链接,模型会被强烈地引向你要的结果。

Bryk拿GPT-3时代来类比:ChatGPT出现之前,模型是纯文本补全,提示词要写得别扭,我妈都用不了;RLHF之后好用了,可控性却下降了。Exa现在就处在“难用但极可控”的阶段。好在用户大多是公司,让ChatGPT替你写提示词就行。

从写论文到找对象:大家拿Exa干什么

节目里最有画面感的是用例部分。

一个论文写作工具,用ChatGPT给写作者不断提议“接下来可以写什么”。ChatGPT自己不够聪明,需要接搜索引擎,接上Exa之后,你可以贴一段自己的想法,问“哪篇论文自然延续这个思路”。Bryk说,学术界的人用了二十年一个受限的工具,现在突然被打开了全世界的知识,“这就是我做这件事的原因”。

一个给VC用的项目发现工具,聊天界面里ChatGPT不停推荐值得约谈的初创公司,而这些公司VC靠传统渠道根本找不到。Bryk的总结是:更好的搜索能催生新的市场。

还有更生活化的。有人拿Exa做人的相似搜索,贴进一份交友资料,返回20个相似的人。Bryk说,他认识有人真的因为Exa在现实里见到了好几回面。数字世界通向了现实世界。

主持人补充了他看到的普遍需求:他接触的几乎每家公司都想规模化某种“相似者搜索”。这是几个销售得好的客户名单,我要更多类似的;这是一份出色的候选人简历,我要更多这样的简历。语言模型已经能把触达内容个性化到接近人类水准,但清单本身从哪来?输入是垃圾,后面全流程都是垃圾。这正是Exa卡位的地方。

他还在一家叫Athena的公司做顾问,那里的AI助理要帮客户达成目标,比如“提高肺活量”。助理自己没有这种专业知识,但知识在网上。用Exa找到一批讲如何提升肺活量的专家文章,再交给语言模型加工,就能产出具体行动:买这台机器,报这门线上课程。目标被专家内容拆解成了助理真能执行的事。

Exa消费者页面一度写着“重新发现互联网”。Bryk说,那些有趣的东西一直都在网上,只是算法把它们藏起来了。换了算法,它们就显形了,有人形容像揭开一座隐藏的知识神庙。他的分工论是:Exa是知识引擎,ChatGPT是组合引擎。找到100份相关文档交给GPT-4,甚至将来的GPT-5,魔法才会发生。

商业上,Exa定价10美元1000次搜索,每次最多返回25条结果,要100条更贵。主持人第一反应是贵,毕竟API产品的常见价是1到2美元1000次调用。听完用例他改了口:结果质量高,省下的迭代时间和下游处理成本远超差价,他还判断Exa的API生意在可见的未来会相当兴旺。

Bryk说客户很少抱怨价格,因为很多人是先用Bing API或谷歌的封装,发现拿不到想要的东西才找过来的。他们要的是“只返回人”“只返回公司”“只返回新闻”这种可控性,别处买不到,Exa把自己定位成高级搜索,用量大的走企业定制。使用模式大致三类:检索增强生成(RAG)、自动化分析,还有最夸张的,一次拉几十万甚至上百万条结果去微调模型。

分歧:嵌入向量是未来还是过去

这期节目最好看的一段,是主持人和嘉宾对嵌入向量(embeddings)的判断完全相反。

Nathan说他有个长期假设:未来系统跟系统通信会越来越多地用嵌入向量做媒介,两端都是原生在嵌入空间里工作的AI,硬要翻译成自然语言字符串再解析回去,低效且有损。他觉得Exa像是这个未来的一瞥。

Bryk的回应很直接:嵌入向量给我的感觉是过去。嵌入是起点,如果未来大家还靠它传递知识,我会失望。理由是信息损失:把一段文本压成一个向量,再跟索引里的文档向量做点积,这个操作天然有损,扛不住复杂查询。“湾区、用AI做法律、创始人有Rust经验”这种不断叠加条件的查询,指望一个向量加一次点积搞定,不可能。

他给了一个很有解释力的框架:从嵌入点积到完整transformer打分,中间是一条光谱。一端是查询向量和文档向量做点积,计算极便宜,可以扫全网;另一端是把查询原文和文档原文一起塞进transformer的上下文窗口,过一遍全部权重再打分,强大得多,但不可能对全网这么做。中间那些地带,几乎没人探索过。

至于怎么突破,他确认了主持人的直觉:把复杂查询拆解是对的,人类就是这么干的,公司也正在为此招人。但还有拆解也救不了的场景,比如信息分散在不同文档里:讲法律AI的网站不会顺带介绍创始人的Rust经历,得去全网别处把信息拼起来。方向是知识图谱式的结构,但要一直待在神经的、模糊的空间里。一旦做成“奥巴马的书、书的作者”这种离散元数据,查询就被元数据锁死了;全放在嵌入空间里,才能对整个图做任意复杂的查询。

他认为语言模型在生成文本、图像、视频上被翻来覆去研究,改进搜索算法这个方向却出奇地冷清,已经没有多少博士生写网页搜索的论文了。Nathan接了句玩笑:我们这代最聪明的人还在琢磨思维链呢。Bryk的结论是,这片空白需要一个激励结构对的公司去填。

价值观、小团队,和明天的行动清单

公司价值观里有一条直接来自产品哲学:“以最优的速度精度权衡做事”。Bryk的解释是,每条查询不该消耗同样的算力。谷歌默认什么查询都几百毫秒返回,但有些复杂查询值得在网上翻几秒甚至几分钟。这条迁移到经营上也成立:一个问题可以花一天也可以花一年,别无脑求快,也别无脑求稳,永远优化投入的确切数量。

另一条是“负责任地使用力量”。搜索引擎是人们通往世界知识的门,控制别人看到什么知识,就是控制力量,谷歌甚至影响了人们创作什么内容。Exa的哲学是把权力交给用户:不替用户判断对错、不给结果加偏向,让用户能明确说出自己想要什么,多复杂都行。Bryk承认这里有道德争议,但他认为在transformer技术终于能精确满足需求的前提下,这是最好的用法。

团队画面也值得一提:一群二十多岁的年轻人合住一栋房子,办公室就在里面,七个人像玩一样地工作。Bryk的原话是,七个把这事当玩的年轻人,会比五十个把它当工作的快得多。

至于格局,他认为信息检索的市场本身会大幅变大,多玩家共存的可能性比以前高了,但他依然觉得Exa会成为主导者。

最后是三件明天就能做的事。

  • 改写你的查询。下次谷歌甩给你“约33,000,000条结果”,先别怀疑自己,把需求改写成一次数据库过滤:对象类型、限定条件、要的数量。“某类公司+某地+某特征+给我54条”,这个句式本身就是一份好需求。
  • 花半小时试一次Exa(exa.ai)。提示词按“链接即将出现”的格式写,结尾加"(startup:"或"(article:"这类钩子;懒得学就让ChatGPT替你写。做销售获客、招聘寻源、找相似案例的人,把“给我更多像这个一样的”跑通一遍,感受一下差别。
  • 先求能用,再求省钱。搭AI工作流时记住Nathan的顺序:先用最好的工具把东西做出来,别过早优化成本。10美元1000次搜索贵不贵,取决于它是不是唯一能给你对的结果的那一个。流程验证了,再谈降本。

In this episode, Nathan sits down with Will Bryk, CEO of Exa.ai. They discuss how Exa enables complex, research-based searches that differ from traditional keyword-based search, how their AI uses neural and non-neural methods, why they are using their own vector database, and more. Try the Brave search API for free for up to 2000 queries per month at https://brave.com/api

LINKS:
- Exa.ai: https://exa.ai/

X/SOCIAL:
@WilliamBryk (William)
@labenz (Nathan)
@ExaAILabs (Exa)

SPONSORS:
Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off www.omneky.com

The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://brave.com/api

ODF is where top founders get their start. Apply to join the next cohort and go from idea to conviction-fast. ODF has helped over 1000 companies like Traba, Levels and Finch get their start. Is it your turn? Go to http://beondeck.com/revolution to learn more.

TIMESTAMPS
(00:00:00) - Preview
(00:01:52) - Exploring the landscape of information retrieval tools
(00:14:19) - Exa: AI librarian for the web
(00:15:32) - Sponsors: Oracle | Omneky
(00:16:57) - AI Project Ideas
(00:22:26) - What does search built for AI mean?
(00:25:40) - Ranking with neural and non-neural methods
(00:30:50) - Sponsors: Brave | On Deck
(00:33:13) - Best practices for Exa prompting
(00:34:01) - The power of keyword search
(00:37:26) - Breaking down complex queries
(00:34:37) - The evolution of search engines
(00:39:53) - The business side of Exa
(00:40:17) - The challenges of building a web scale index
(00:39:53) - The business side of Exa
(00:50:59) - Vector DBs
(00:58:17) - Wrap

This show is produced by Turpentine: a network of podcasts, newsletters, and more, covering technology, business, and culture — all from the perspective of industry insiders and experts. We’re launching new shows every week, and we’re looking for industry-leading sponsors — if you think that might be you and your company, email us at erik@turpentine.co.

本集资源与出处