照着海马体造 RAG：效果打平迭代检索，在线成本只要十分之一

先给一个数字：十倍。在三个多跳问答基准上，一个叫 HippoRAG 的检索方法和当时最强的迭代检索效果基本打平，有的基准略好，有的略差，但在线检索环节的时间和成本只有后者的约十分之一。代价是离线索引更烧钱，这笔账后面细算。

这套方法的核心思路很特别：照着人脑海马体的工作原理，把语料预先整理成一张实体知识图谱，查询来了就在图上做联想式游走，省掉大模型一轮轮翻文档的功夫。论文一作 Bernal Jiménez Gutiérrez 是俄亥俄州立大学的博士生，主持人 Nathan Labenz 在 Cognitive Revolution 播客里和他聊了一个半小时，从脑科学一路聊到生产系统怎么搭。

从帮癌症患者匹配临床试验，到研究人脑怎么记东西

Bernal 的背景有点跨界。2015 年从伯克利应用数学本科毕业，进了一家医疗创业公司做 NLP，具体活儿是帮癌症患者匹配临床试验。之后一直在生物医学 NLP 方向，早年用 UMLS 这类本体和知识库，这几年转向怎么把大模型真正用好。

「我把自己的研究看作一条双向车道，一边是生物学，一边是大模型，两边互相输送。」

他所在的实验室由 Yu Su 带领，出过 Mind2Web，就是那套网页智能体基准数据。导师对生物启发的路线很感兴趣，HippoRAG 是两人反复讨论神经生物学记忆的产物。起点其实很工程：Bernal 本来在琢磨垂直领域模型的前景，结论是小领域数据太少，从零预训练不划算，强基座模型加 RAG 大概率是最优解。深挖下去却发现 RAG 本身有硬伤，正好又和导师聊到人类那种大模型完全做不到的持续学习能力，两条思路一来一回，今年年初他抓住了把一切串起来的那个点：回答知识型问题，光靠大模型的推理链不够，必须先对语料做知识整合式的预处理。

Nathan 给 RAG 的位置起过一个名字，叫「中间失落的记忆」。大模型有超人级的参数化知识，但训练完就冻住了；上下文窗口里的信息要么在要么不在；中间这一大块全靠 RAG 撑着。他自称「应用加速器」，比起继续堆算力等模型变强，更重要的是把现有系统调到能用、验证好用，医疗是他眼里的头号场景，他跟 Med-PaLM 到 Med-Gemini 的团队聊过很多次。Bernal 的生物医学背景，正好撞在这条线上。

RAG 的死穴：答案不在任何一段文字里

论文里有个例子贯穿全场。假设要找一个斯坦福教授，研究方向是阿尔茨海默病的神经科学。语料库里有一千份斯坦福教授的资料，一千份阿尔茨海默病研究者的资料，但没有任何一份文档同时写着这两件事。

传统 RAG 的解法是迭代检索：先查出一批教授，让大模型读完再挑，再逐个去查研究方向，来回多轮。Bernal 算过，这种沿着路径一步步走的路数，可能要翻几千份文档才能撞上答案。而一个知道「这人在斯坦福、做阿尔茨海默研究」的人，瞬间就能报出名字。

他把问题分成两类，这个区分是整篇论文理论上最值钱的部分。一类叫路径跟随，沿着链条逐步推进，跳数再多，每一步都有迹可循；另一类叫路径发现，本质是求交集，要找到同时满足两个条件的那个点，靠联想记忆一步到位。大模型的推理链擅长前者，搞不定后者，因为联想记忆没法靠临时翻文档现补。

Nathan 在节目里念了两道 GAIA 基准的题，一道要跨 arXiv 论文找图上的轴标签，一道从《海底总动员》的主角鱼一路查到美国地质调查局记录的邮政编码。听着吓人，Bernal 的判断是这两道都算路径跟随，难度来自跳数，任务性质没变。真正的路径发现题，目前连个像样的基准都没有。

照着海马体，一比一搭出检索系统

方案的理论底座是海马体索引理论。上世纪中叶，一位切除了海马体的病人再也无法形成新的长期记忆，学界由此确认这片区域对记忆存储至关重要。理论认为，海马体本身不存记忆内容，只存指针，指向新皮层里真正的记忆，同时记录指针之间的关联。

整套系统有三个部件、两种能力。新皮层存细节记忆；海马旁回区夹在中间做双向桥梁，参数冗余度高，负责把密集的体验稀疏化，拆出「斯坦福教授」「阿尔茨海默研究」这类概念，叫模式分离；海马体里的 CA3 子区域连接极度密集，负责把共同出现过的概念重新连起来，叫模式补全。Nathan 听到这儿插了一句，海马旁回区的功能很像最近很火的稀疏自编码器。Bernal 的回应是，可以理解成给密集表征加稀疏约束，而且海马体里确实存在位置细胞、祖母神经元这类高度单一的概念编码，连「哈利·贝瑞神经元」都有研究，说明大脑最终存的表征比大模型内部的干净得多。

HippoRAG 一一对应：大模型扮演新皮层，负责抽概念；检索编码器扮演海马旁回区；知识图谱扮演海马体；个性化 PageRank 算法负责联想记忆那一环。

流程分两段。离线索引阶段，让大模型逐篇读文档，先做命名实体识别，给下一步的开放式信息抽取定锚，注意只是引导 bias，强制约束，再生成大量「实体、关系、实体」三元组，搭成知识图谱，最后用编码器给同义实体连上同义词边，比如把「阿尔茨海默病」和它的缩写连起来，图才够连通。在线检索阶段，问题进来先抽实体，映射到图上节点，从这些种子出发做随机游走，最后按节点概率给文档排序。

成绩单与短板：打平对手、成本十分之一，外加三个坑

实验规模是三个基准，每个一千道题、约一万份文档。结果分三层。第一层，单看 HippoRAG，和迭代检索整体打平，但在线检索的时间和成本降到约十分之一。生产系统要实时响应用户，这个差距直接决定方案能不能用。

第二层，把 HippoRAG 和朴素迭代 RAG 组合，三个基准平均提 7 到 8 个百分点。Bernal 称之为一种原型级的自我纠错：模型能看到图谱排序的结果，再结合联想检索去推理，比单打独斗强得多。

第三层是基准测不出来的。论文案例里有道题，问某种通过作用于特定酶来治病的药物是什么。医生真需要这类答案，病人如果同时在用干扰那个酶的药，这个药就不能开。这种求交集的题现有方法做不了，HippoRAG 在定性测试里表现不错。

成本细节值得单独说。索引用的是 GPT-3.5，理由很实在：这活是抽取，识别显著实体、判断共现实体之间的关系，Llama 3 70 亿参数的模型都能干得不错，换旗舰模型没有明显收益。真用 GPT-4 或 Claude 跑同样实验要花大约 500 美元，Claude 输入价是 GPT-3.5 的两倍，输出是十倍。给整个维基百科建索引呢？600 万篇文章只取第一段，GPT-3.5 大约要 9000 美元。实验室做不起，创业公司完全付得起。

「先把事情做对，给我正确答案，该收多少钱收多少钱，然后等着成本自己降下来。」

说这话的是 Nathan。他的观察是，创业公司普遍对成本过于焦虑，AI 产品最大的痛点从来是答错，而这些题外包给人做，成本远超一美元。他还补了一句：通往小模型的路径往往要穿过大模型，Gemini 1.5 Flash 据报道就是从更大的模型蒸馏来的，先用最贵的方案把事情做对，再回头看哪些招真正起作用。Bernal 顺着猜，Google 大概率在做类似的全网索引，但和超大模型正面竞争的压力，可能让他们舍不得在推理上花这笔钱。

短板有三块。第一，图遍历太朴素。个性化 PageRank 只看连接结构，没有任何关系语义引导，直接或间接连着种子的节点都能分到概率，离得越近、连着的种子越多，概率越高。步数开到最大，就退化成 Google 当年排网页用的 PageRank，谁连接多谁靠前，这在网页搜索里合理，放到知识图谱里就是灾难。Bernal 承认这次成绩好有基准里干扰文档少的成分，上生产规模必须把遍历做得更聪明，这是团队当下最优先的事。

第二，概念与语境的取舍。MuSiQue 有道题问「发现每种元素质子数唯一的那个人是谁」，答案没有名字可抽，模型硬把「质子」当实体塞进图，从那儿开始游走，结果全错。怎么把无实体的问题映射到图的入口，是下一个要攻的点。第三，HippoRAG 只处理显性知识。语料里记着「灰姑娘从此过上幸福生活」，但「这个结局是幸福的」这句话不存在，得靠反思才能得出。

还有个反直觉的设计决定：别把文档节点塞进图。Nathan 提议让原始文档也上图谱，方便从文档相似度反向进入。Bernal 说文档节点会连到所有相关实体，概率一摊开，个性化 PageRank 就废了，多跳推理没法做。这和大脑的机制对得上：海马体里存的从来都是拆散后的稀疏概念，完整记忆留在新皮层。

预算不设限：语义网、反思记忆和长上下文外援

长上下文是绕不开的话题。Nathan 分享了自己的实验：拿最近 250 封发出的邮件，约 25 万 token，喂给 Gemini 1.5 Flash 写人物速写，40 秒跑完，花费不到 20 美分，效果惊人。Bernal 的回应泼了点冷水：长上下文模型擅长综合直接相关的内容，超长上下文里的多跳推理依然是弱项。他有一篇在审的论文专门测这个，长上下文做检索确实强于普通 RAG，注意力模式里能看到多跳的痕迹，但上下文越长，这种能力衰减越明显。他判断那 25 万 token 的速写，每一条大概都能在原文找到对应段落，真正的知识整合未必发生了。

聊到理想系统，Bernal 给出的终局图景是自动生成的语义网：HippoRAG 管实体和关联，Raptor、MemWalker、GraphRAG 管聚类摘要和节点整合。后三家在补同一件事，给检索提供比原始段落更抽象的入口，Raptor 把语义相近的段落聚类后生成高层摘要，MemWalker 给长文档建树状记忆。再加一层类似斯坦福 AI 小镇项目的周期性反思记忆，智能体定期回看观察记录，生成更高层的记忆，像人睡觉时大脑对白天的经历做后处理。

长上下文模型在里头也有活干。Bernal 给了一个花钱换效果的组合拳：从图谱里抽出上万条事实，扔给长上下文模型挑出真正相关的图谱入口，再让它引导图遍历。就算图谱建在整个互联网上，和一道题相关的事实大概率也超不出前一万条，这种大海捞针的活 Gemini 们很在行。前提是别指望它替你做图上的多跳推理。

工具上他给了两个具体名字。ColBERT，小模型，泛化能力让他意外，把 BM25 式老派检索和语义嵌入结合得很好；Contextual AI 的 GRIT，指令微调的检索器，可以下指令让嵌入往特定方向偏，语料单一的场景很受用。分块策略上他建议切小，两三句一段，长文档分层摘要，块一大模型就漏三元组，还会在不同句子之间幻觉出关系。他也提到反着来的 Long RAG，不切块，把语义相近的文档拼成大段，两条路线的取舍在单块注意力和全局整合之间。

节目最后聊到更大的缺口。Bernal 引了 MIT 的 Nancy Kanwisher 和 Evelina Fedorenko 的论文：大模型的语音、句法、局部语义已经很强，世界知识、形式逻辑、社会推理还差得远。他最看重形式逻辑，大模型偏向系统一的快速启发式推理，缺系统二那种受约束的推理，大脑靠模块化解决了这个问题，语言回路和逻辑回路各干各的。他的赌注是给系统加模块化的归纳偏置，不同架构学不同的东西，可能比单纯堆参数更快补上这块。Nathan 顺带推荐了 DeepMind 的 Transformers Meet Neural Algorithmic Reasoners，用交叉注意力把标准 transformer 和结构化的算法推理器接起来，方向类似。

明天就能用的五件事

• 语料里多跳查询多的，直接试 HippoRAG，论文和代码都已公开。索引用便宜模型就够，抽取任务用不上旗舰模型。
• 已经在跑 RAG 的，把 HippoRAG 的排序和现有检索做集成，分数归一化取平均，论文数据显示平均能提 7 到 8 个点。
• 切块切小，两三句一段，长文档分层摘要，别指望模型在长段落里自己保持清醒。
• 选嵌入模型先试 ColBERT，预算宽裕再看 GRIT 这类指令微调检索器。
• 评估长上下文方案时，专门加一组多跳题，别被摘要综合的好表现带偏，综合和多跳是两种能力。

一句话收尾：RAG 的下一步竞争，在检索开始之前。谁先把语料整理成能联想的结构，谁就先拿到又快又对的答案。