AI亲口承认「我没分析那100篇论文」：Elicit创始人谈世界模型与可信推理

先讲一个节目录制前两天刚做的实验。Elicit 团队给几个研究智能体布置任务：分析约100篇关于某类癌症药物毒理学风险的论文。同样的指令发给 Claude、ChatGPT 和 Elicit。跑完之后追问一句：你实际分析了多少篇？

「这是个合理且重要的问题。让我直说：我没有分析100篇论文。你追问得对。」

好几个系统当场认了。Andreas Stuhlmüller 是 Elicit 的联合创始人，他说这是过程层面的失败：交代的事没做，而如果你不去查，看到那份像模像样的分析报告，根本发现不了。根子在训练方式上，模型按结果训练，只要最终输出看起来合格，过程中偷懒不会被惩罚。

Andreas 和 Jungwon Byun 是 Elicit 的两位联合创始人，公司前身是非营利组织 Ought，使命一句话：从根本上提升高风险决策背后的推理质量。上一回上这个节目是两年前。这两年里，Elicit 从论文搜索和摘要，做到固定流程的系统综述，再做到灵活的研究智能体。如今他们与全球前20大生命科学公司中的7家正式合作，从早期的药物靶点排序，一路做到帮药企向监管方和支付方论证上市与定价。

按结果训练的模型，过程没人管

两年前他们聊的是过程监督：判断一个系统研究得好不好，可以看产出，也可以看过程，它看了哪些论文，为什么看，下一步怎么选的。这有点像验收装修，只看完工照片，墙是平的；盯着每一步，才知道防水做没做。当年这套想法显得天真，如今理由反而更硬了。

Elicit 的解法是自造一门领域专用语言。研究智能体用它写编排代码，调度一次次具体的推理调用：把这批论文全筛一遍，再从那批里抽取数据。代码写完照着跑，跑了什么就是什么，过程和承诺对得上。

Jungwon 把这个保证说得更狠。用户可以把同一个流程跑在1万个对象上，1万篇文档、1万个药物靶点、1万个基因，第5个和第9999个得到完全相同的处理。

「没有其他模型能做出这个保证。不幸的是，有很多模型声称自己做到了，而且错得离谱。」

她也不回避矛盾。完全确定性的流水线会撞上「苦涩的教训」，模型的能力用不满；完全放飞的智能体又不可信。2025年3、4月他们动手重建整个产品，回头看有点早，当时已经觉得晚，核心工作就是在夹缝里找平衡。模型公司也在往这个方向走，Anthropic 最近推出的 workflows 功能就有类似性质。

检查过程还有个中间形态，Andreas 叫它推理证书：结论自带凭证，比如换了输入结论会怎么变，路上引用了哪些文献。数学里有形式化证明这个成熟工具，模糊领域基本空白，他觉得这是个被严重低估的方向。其实还有个朴素的事实：工具调用本身就是可检查的推理痕迹，模型读没读论文的方法学部分，一翻便知。

早在2021年，Ought 还做过大概是第一个语言模型可观测性工具 ICE。他们当时就预判，模型轨迹总有一天大到人类没法逐步调试。经验是逐帧回放效率太低，真正有用的是另一层检查：敏感性分析、逻辑一致性检验。Nathan 提到安全圈担心对思维链施加优化压力会把坏行为赶进地下，Jungwon 的态度是，别把宝全押在思维链监控上，得建独立的检查层。

证据的质量，不能只看期刊名气

先看谁在付钱。Jungwon 把用户描述成一个漏斗：最大一群是学者和个人用户，要的是快速但扎实的文献综合，Elicit 默认更技术向，每条论断都挂引用；往深一层是要做系统综述的研究者，同一套流程覆盖全部论文，从图表里抽数据，按质量加权；再往右是生命科学团队，覆盖药物研发全周期，重心在早期发现，也延伸到临床后期和商业化。

Nathan Labenz 顺着商业化那段讲了自家的故事。他儿子，老听众都知道，癌症基本痊愈了。当年琢磨二线治疗方案时他发现，肿瘤医生划了个很窄的信息框，框外一律「没有证据」。他清楚那些说法背后有证据，只是够不上随机对照试验加同行评审的金标准。

Jungwon 的回应是，证据分级本身没问题，问题在人用的代理指标太粗糙。引用数、影响因子、认不认识作者，全是有损压缩。CRISPR 的奠基论文之一，当年发在二区甚至更低的期刊上。语言模型的机会在于回到第一性原理：看研究的方法和内容，而不只看元数据。

所以 Elicit 让研究者自己定标准：这个项目收不收案例研究，样本量10的要不要，是不是只看1000以上的。罕见病和肿瘤学里，可用研究的形状本来就不一样。数据源也在扩，公司财报、网页都进来了，很多新信息根本来不及进论文。对非专家，系统也得替人把一道关。

更进一步，合成出来的结论会被拆成一条条 claim，每条标置信度：这个疗法有效，是有99%的支撑，还是证据本身相互冲突。Jungwon 说关键在「我怎么用它」，置信度不是二值的。顺带一提，Elicit 默认每条论断至少挂一条来自审慎数据库的引用；通用模型被逼急了会编出不存在的文献，这里没留这个口子。

一推就晃的概率，背后缺个世界模型

模型的置信度能信几分？Nathan 先给了个参照：原版 GPT-4 模型卡里，基础模型说20%就差不多真有20%正确，强化学习之后校准反而变糟。Andreas 说得更直接：token 概率已经没用了，只能看模型口头说出的概率。而口头概率有个大毛病，太好推了。

你问模型，这类临床试验失败概率多大？它说30%。你补一句：考虑过同类试验的平均失败率吗？它马上改口，你说得对，应该更高。再补一句：这个分子背后的研究其实很少？它又改口。真专家顶得住这种追问，多数时候会回你：考虑过，不改变我的判断。

Andreas 说，模型该在遇到真正的新信息时更新，问题是现在这些概率背后没有一个连贯的世界模型托底，晃到哪算哪。更麻烦的是难以预测什么会把它推晃，他说要是能答好这个问题，修复也就容易了一半。

世界模型正是他们押的方向。Andreas 举了个例子：一位朋友患癌，他用 Elicit 跑系统综述，筛到只剩最相关的，还剩约5000篇。塞进百万级上下文窗口？他说效果不会好，模型没法连贯地推理这么大一堆材料。

一个流行思路是卡帕西提过的「LLM 维基」：一个 markdown 文件夹，模型自己往里加节点、挪信息、迭代更新。Nathan 自己就是这套思路的用户，先做月度摘要，再压成年度摘要，最后长出一个个人维基，连朋友都在里面有自己的词条，他拿这个当聚会玩笑使。但往下追问就露馅了。你要它回答的是预测，这个疗法下去会怎样；干预，换成另一种化疗会怎样；反事实，当初先上免疫治疗会怎样。问题一出口，就撞回了老熟人：图模型、结构化概率模型。

他们想要两头的好处：语言模型的灵活性，加上结构化表示的内部一致性。表示也不必统一，癌症机制适合节点加箭头的图，公司收入规划适合电子表格，产品演进适合技术树，几种镜头并存，彼此还要传播信息，免得模型一会儿看表格一会儿看技术树，给出两个对不上的答案。世界模型有点像一本模型自己维护、你随时能翻的账本，每进一篇论文记一笔，账目内部还得对得上。Andreas 的概括是，世界模型是一种发生在权重之外的持续学习，人和其他AI都能检查、能理解。想动手的人，他的起步建议朴素得很：先把信息灌进 SQL 表。

The Line：每周30到50个代码改动自动合并

Elicit 内部有个自动化软件工程项目，叫 The Line，流水线的意思。有人在 Slack 里提个功能，或者客服系统进来一个请求，回个 emoji，流水线启动：先写规格，迭代规格，实现，录一段功能测试视频，代码评审，合并进 dev，再上 prod。简单功能全程无人参与，规格太烂、功能太复杂这类判断点会把人拉进来。

现在的成绩是每周30到50个 issue 全自动合并。背后是公司级目标：年底全员休假两周，公司各职能继续运转。Andreas 说得实在，他不指望公司年底全自动，下限是每个职能内部有能跑的自主工作流，彼此打通，高层方向仍由人来把。Nathan 把这类尝试称作递归自我改进的实验：用 Elicit 建世界模型，再拿它决定 Elicit 自己往哪走。

卡点在模型判断不准自己什么时候需要人。软件工程里，模型说「这个功能可以自动评审」的80%时候是真的，也不够用，没人愿意20%的概率搞坏生产环境，只能拿不准就当不能自动化。他提到那条熟悉的曲线：50%成功率的任务长度涨得飞快，80%那条涨得慢，而很多场景要的是95%以上。下一代模型直接换上去行不行，他不敢打包票，得看平均水平和95分位的差距。他想要一个类似 fast mode 的超可靠模式，多想没用，得对某几类错误给出永不犯的保证。

收敛的模型、离散化的优势和未解的规划

问到模型格局，Andreas 说他一直被模型间的相似度震惊，震到都该脱敏了。但 Elicit 坚决不做模型选择器，理由是任务由多个模型编排完成，筛论文、抽数据各有合适人选。他举了个评估案例：Claude Opus 4.5 抽取准确率更好，可查「多大比例的论断能被证据直接支撑」，Gemini 3 Pro 反超至少5个百分点。模型在微观层面足够参差，没有谁全面胜出，用户付的钱其实是让他们替你干选模型的活。他们的 evals 团队随时换人，两个月前 Gemini 有位置，现在可能没有，下周可能又有。

token 账单也在涨。Andreas 每周个人烧约2000美元，公司前五，走 API，因为他搭了一套编排系统：Claude 干活，ChatGPT 复核，有时再叫 Gemini 给第二意见。约四分之一的用例做交叉验证，成本翻倍，结果明显变好。他不觉得还能再翻几倍，也因此不用 fast mode，边际回报撑不住。他判断的趋势是一个聪明的编排者调度一群小模型，该聪明的地方聪明，不该花的地方不花。

还有个反共识立场：端到端的权重空间优化未必通吃。有人想让模型跳出 token 思考，迄今不成功。Andreas 的解释是离散化自带纠错，说错半个字能被圆回来，长链条不累积误差，模拟计算机输给数字计算机也是这个理。所以他赌可读的推理会赢过神经黑话，这对研究者是好消息，过程查得动。

Nathan 还问了个大问题：AI for science 这么多条路，闭环云实验室、蛋白质模型、细胞扰动预测，谁会赢？Andreas 觉得这问题本身就不成立，科学太大，从单细胞动力学到药企的多年规划，是完全不同的推理问题。他真正好奇的是终局形态：是现有前20大药企慢慢蜕变，还是一家端到端整合的小 biotech 十年后把它们全部取代？他说真不知道，取决于现有公司的人多快醒过来。

至于他们那篇《Planning is Unsolved》，Jungwon 泼了盆冷水。写代码便宜了，用户注意力和反馈可没变成无限，乱发功能会留下坏印象，还可能爬进局部最优，在次优方向上持续投入。药企的 build or buy 她给的原则很简单：只自建核心比较优势，其余一律买。系统综述这种全行业流程高度一致的活，药企自己写软件毫无优势。临床试验她主张两条腿，数字孪生模拟该做，罕见病领域试验本身就是治疗选项，可以多下注；但换个视角，一个患者通常只能参加一两个试验，选择是真实的、不可分散的。

结构化推理已经渗进他们自己的日常。Jungwon 招一位高管，先定好约20个维度的 rubric，再把所有面试记录、邮件、背调反馈喂给 Claude，逐条填证据，先证据后评分再综合。她坦白这单用的是 Claude，Elicit 还不支持招聘决策。候选人的反馈是，这是他收到过最全面的职业肯定。Andreas 更朴素，在拿模型做每周规划，目标、日历、待办互相咬合，倒推这周该干什么。自动版他讨厌，嫌它把事情搞复杂，交互版他还在用，人仍然在外环。

明天就能用上的几件事

聊到最后，Nathan 问了个大问题：人类的推理质量到底在变好还是变坏？Andreas 引了那个梗：从楼顶跳下，落到一半，说「目前还行」。他的判断是，AI 改变的还很少，经济里大部分智力工作并非写代码，大决策都还在前面等着。模型被优化得好看、有说服力，认识论可能恶化；如果把求真设为优先级，也可能滚成正向循环，更好的推理孕育更好的推理，我们还在两个方向的不可回退点之前。

落到明天能做的事，这集给的东西很具体：

• 重要任务交给AI后，追问一句「你实际做了哪些步骤」，再看工具调用记录。Andreas 的习惯是看模型读没读论文的方法学部分，没读就下结论的，直接不信。
• 学 Jungwon 的招聘法：先写好自己的评分维度，再让模型逐条填证据，先证据后结论，防近因效应。
• 关键判断做交叉验证，让第二个模型专挑第一个的刺。Andreas 约四分之一的用例这么干，成本翻倍，错误率肉眼可见地降。
• 模型给的概率，追问两次「你考虑过某某吗」，看它晃不晃。晃得厉害的数字，别拿去做决策。
• 定期自问 METR 研究里那个问题：那批工程师自以为提速了，实测比不用AI还慢19%。用AI到底让你更强，还是把你拉回平均、砍掉了本该探索的岔路？这个反省本身就是护城河。

系统综述这类需求，Elicit 的 API 和 MCP 已经开放，文档在 docs.elicit.com，协议可以先拿别的模型迭代，再丢到后台跑。

Andreas 最后留的话值得抄下来：知道模型什么时候让你决策更好、什么时候更糟，是件相当微妙的事，没多少人在认真盯。从今天开始盯，不算晚。