# 4个月100万美元ARR，幻觉从1.5个压到0.5个：Elicit创始人讲透AI科研助手怎么做 > Cognitive Revolution No. 118 中文精读 - 原标题：Unbounded AI-Assisted Research with Elicit Founders Andreas Stuhlmüller and Jungwon Byun - 发布日期：2024-04-03 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/118-unbounded-ai-assisted-research-with-elicit-founders-andreas-sv1E5L.html - 精读字数：约 5909 字（阅读约 13 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 先摆几个数字：一家12个人的公司，订阅上线4个月做到100万美元ARR，拿完900万美元种子轮；平均每1.4周发布一个新功能；把摘要里的幻觉从平均1.5个压到0.5个，判定标准严格到“轻微夸大论文结论也算幻觉”。 这家公司叫Elicit，一个面向科研人员的AI研究助手。两位创始人Andreas Stuhlmüller和Jungwon Byun最近做客Nathan Labenz主持的Cognitive Revolution播客，把产品背后的方法论从头到尾拆了一遍。Nathan本人是Elicit的小额投资人，也是重度用户，他的原话是：做结构化文献综述，这是他的首选工具。 这期节目值得细看的原因很简单：Elicit的用户是全世界最挑剔的一批人。做系统综述的研究者动辄处理几千篇论文，抽错一个数据、编造一个结论，后面整项研究跟着报废。**他们这几年打磨出来的工程实践，基本等于一份“如何在高风险场景里用大模型”的公开课。** ## 淹死在论文里，和“八小时后我在哪” Jungwon把研究者的困境总结成两条。第一条是信息量：几乎所有领域的论文都在指数增长，研究者连今年的新文献都追不完，更别提逐年累积的历史存量。她的形容是，研究者觉得自己淹死在论文里，永远做不到想要的严谨程度。 第二条是流程混乱。很多人查文献的日常是这样的：打开Google Scholar，点开一篇，顺着引用再点一篇，八小时后回过神来，忘了自己最初要查什么。她还提到一个更扎心的场景：跨国大企业实验室的研究者，想搞清楚公司内部有没有人做过类似工作，靠的往往是“我认识一个人，他碰巧知道另一个人，那人十年前参与过这个项目”。**靠运气和熟人网络运转的科研流程，既没法规模化，也没法审计。** Elicit给产品定了三个关键词：系统化、透明、无边界。 系统化，是让研究者先把“什么是好论文、什么算相关”写成明确标准，再让AI按这套标准扫过所有论文，不受个人阅读速度限制。 透明，是每一步都留日志：从哪几篇论文起步、跑过哪些查询、筛掉了什么、依据是什么。整条链路默认可审计、可分享。 无边界，针对的是科研的产出物。一份PDF发表那一刻就过时了，别人没法复现，没法扩展，没法改个条件重跑。这次发布的notebooks想做的，是让研究变成可以持续追加步骤的活文档：补一条新查询、多总结一批论文、多抽几列数据，后来者在你的工作基础上小改一下就能接着跑。Jungwon透露，notebooks其实是团队第四次尝试做这个形态，磨了好几年才成型。 主持人Nathan给了一个自己的用法。他研究课程学习（curriculum learning）时加了一列“这篇论文用的最大模型是什么”，跑完之后把模型规模够大的论文挑出来，拉进新表继续深挖。他的假设是大模型的行为可能有质的区别，这个标准一旦显式写成列，就能交给AI批量执行。**把脑子里的筛选标准显式化，是普通人用这类工具最容易忽略的一步。** 顺带一个产品细节：让新增的列引用前面列的结果，目前线上版本还没支持，原型已经能跑，排在每周发布的队列里。 ## 任务拆解：问题从“模型能干多大的活”变成“多小的活好检查” 这是全期聊得最深的一段。 Andreas回顾，他们从GPT-2年代就开始做任务拆解，那时候的“任务”小到“这句话能不能推出另一句话”。现在模型强了，他判断核心问题已经换了：**过去大家问“模型最大能可靠地干多大的活”，现在该问“活拆到多小，检查起来最省力”。** 他给了一个类比软件工程的判断标准。写模块化代码，是为了让未来的自己容易看懂，让别人容易检查。拆解AI任务同理，**最重要的原则是设计清晰的接口，让工作成果容易被检验。** 具体案例是他们发表的“因子化验证”（factored verification）论文：不拆“生成摘要”这个任务，改拆“验证摘要”这个任务。把摘要切成一条条独立论断，逐条问模型“这条论断是否被上下文明确支持”。靠这个办法，他们抓出了很多非常隐蔽的幻觉，比如模型为了让句子读起来通顺，暗示两个独立发现存在关联，或者轻微夸大论文的结论强度。 Nathan从应用方视角补了一个两难：拆得太粗，一个巨型prompt全塞进去赌运气；拆得太细，token量爆炸、上下文被切碎、响应变慢。Andreas的排序很明确，可监督性放第一位，token成本是次要变量。 长上下文还有另一面：百万token的窗口里检索出一个好答案，验证很容易，但漏掉了什么你查不出来，除非把一百万token重读一遍。**长上下文降低了验证成本，却抬高了查漏成本，所以拆解不会因为窗口变大而过时。** 这些验证工作目前没有放到线上运行时去跑，主要用途是生成训练数据，再蒸馏出幻觉率更低的模型。Andreas说，运行时加检查模型这条路他们很有兴趣，因为Elicit的一条核心标准就是帮用户把更多预算换算成更准确的答案。 ## 评测、数据量与模型菜单 Nathan先分享了自己在视频生成公司Waymark的经验：用微调过的GPT-3.5，迭代加快之后，团队对模型行为的直觉跟不上了，只能上结构化评测。但让GPT-4给整体质量打分他不放心，“十诫”式的硬性禁令可以交给模型评，整体好不好还是得人看。 Elicit的做法分几层。优先找自然存在的金标准：用户里有人写系统综述，就拿真实发表的系统综述实际引用的论文当标准答案，看Elicit能不能精确找到这些论文，排除那些表面相关的邻近论文，指标用NDCG这类搜索领域的标准货。摘要类任务用模型评，因为“正确”可以编码成规则：不许夸大，不许暗示无关发现相关。信息抽取用自动评测对照人工金标准，由领域专家逐条确认过。 Jungwon强调了一个原则：**金标准最好来自“有人真心想解决问题”的场景，而不是专门为AI评测造的数据集。**他们甚至遇到过用户提交的“标准答案”本身有错、被他们检查出来的情况。 Nathan说这一年反复学到一件事：很多领域在引入AI之前根本没测过人类自己的水平，大家默认人工做得很棒，实际往往没那么棒。Jungwon的佐证是，在人工抽取和AI抽取的直接对比里，Elicit的预定义抽取列稳定超过了受过训练的科研助理，按她的说法，信息抽取这个环节今天已经是超人水平。 关于数据量，Andreas给出的数字很小：**几百到几千条数据就够微调用了，数据集更大的价值在评测。**他们用过constitutional AI的思路，训练了一个偏好模型来判断两份摘要哪份更好，宪法条目就是“摘要应准确、应简洁”这类原则，用的也是几百到几千条人工判断。 模型菜单上他们非常务实：同时用微调的Flan-T5、微调的GPT-3.5、GPT-4、看表格用的GPT-4V，录制时正在接Claude 3。Andreas说，下次再聊，这份清单肯定又变了，**关键能力是快速换模型，永远站在前沿，别绑死任何一家供应商，因为不同厂商模型的组合经常强于任何单一模型。**过去一年跨过的能力门槛里，最明显的是读表格：p值是否显著、假设是否被推翻，这类信息经常只存在于论文的表格里，多模态模型出现之前基本没法处理，现在配合大量解析工程才做到。 ## 链式思考的坑，和给模型的退路 这一段有很多能直接抄走的结论。 Andreas点名了一个至今仍常见的错误prompt写法： > “模型，先回答是或否，然后解释你的理由。”这显然很糟糕，因为模型只能先硬给答案，没有任何推理，然后就把自己锁死在一条可能错误的路上。 Nathan接了一句：第一版Bard上线时就是这个模式，他当时相当震惊，世界顶级研究团队的产品里丢了这么基础的东西。 Elicit几乎所有问题都走链式思考，CSV导出里甚至带一列“这一列的推理过程”，Andreas建议用户去看，经常很有启发。理由很硬：**transformer每个token的计算量是固定的，有些问题不靠多步推理就是算不出来，微调再多也没用，任意算术就是典型。** 他举了研究机构Epoch的例子。Epoch追踪AI领域的算力、参数量、数据集规模，方法就是分析文献。难点在于论文很少直接写“我们用了多少FLOPS”，只写“某型GPU训了两天”，要回答算力问题得推理一两跳。模型变强，能接住的正是这种离原文一两步远的问题。 但链式思考远未被理解透。Andreas说得很坦白：**没人真正搞懂模型内部在发生什么，包括他自己；谁声称完全明白链式思考为什么有效，大概率是错的。** Jungwon给了一个非常实用的技巧：给模型留退路。允许它输出“我不知道，原因如下”“原文没提，但我查了这里、本来预期在这里能看到”。他们的大量场景里，答案根本不在眼前那段文本里，**强迫模型作答正是幻觉的主要来源；给退路选项，既减少幻觉，又让产品更有用。** Andreas把它归结回接口设计：一种接口要求模型必须答是或否；另一种接口返回数据，数据里分“有答案”和“没答案”两个分支，各有各的有用输出。怎么部署模型让它尽可能有用，是行业该认真设计的事。 ## 搜索流水线、每周上新与exascale野心 Andreas完整拆了一次搜索背后发生的事。以“找2020年后关于肌酸提升认知的随机对照试验”为例：系统先把自然语言问题解析成检索意图加过滤条件，交给语义加词法的混合搜索引擎，先捞出约500篇候选，再过一系列越来越贵的重排阶段，MonoT5、交叉编码器，加上时效和引用数启发式，最后生成摘要时，模型还能再丢弃不相关的论文。整条流水线要在浏览器等待的几秒里跑完。 但他认为瓶颈不在速度。有人为写一篇系统综述花9个月，这类用户等一个小时换一份高质量结果完全愿意，也愿意为此付100美元。现在做不到，因为计算绑在浏览器会话里，关掉标签页就没了。他们在建的基础设施就是把执行和浏览器解耦，像外包给一个人类研究助理，让他去干活，回头交结果，配个进度条。Nathan对此强烈共鸣：**AI应用行业普遍高估了速度和成本的重要性，低估了在高价值场景上做成的价值。** 速度和可靠怎么兼得？他们发过一篇博客，宣布每周上线一个新功能，实际平均是1.4周一个。Jungwon的解释是错峰：依赖准确性的功能研发周期很长，但可以拆成多次发布，穿插基础设施和纯产品功能。Andreas补了一个更硬的理由：**想站在准确性的前沿就必须发得快，每周都有新模型出来，不发货，你的产品就到不了它本来能达到的最准状态。**任务拆解在这里再次帮了忙，上线一个新的预定义抽取列，比微调一个读过全部科学论文的新模型再完成质量评估，容易太多了。 再往后是他们内部叫“exascale引擎”的东西：现在用户跑几十到几百篇论文，他们要让模型对几万、几十万篇论文做推理，用模型监督模型，把不可靠的组件拼成高质量答案，同时保持架构透明，别把一切塞进一个权重不透明的巨大黑盒。 Andreas把这上升到了路线之争： > 关键问题是，我们这个社会想把算力变成更多工作。一个答案是训练越来越大的模型，然后祈祷最好的结果，也许配一点可解释性方法。我们在走向另一个答案：更多算力确实会带来更好的答案，但可以通过更透明的架构到达那里，前提是建好正确的基础设施。 ## 生意、安全与一个没标准答案的问题 商业面上，生物医学仍是最重点的领域，因为这里把预算换算成准确度的意愿最强，系统综述、荟萃分析这类批处理流程也最成熟。但用户分布比外人想象的散：早期生物医学加机器学习约占总用户的一半，现在更均匀了，工程学科和人文学科增长很快。有团队客户愿意为单个项目花几千到几万美元，也有个人用户愿意花几百美元，因为价值增量足够清楚。被替代的现状往往是雇人手工筛几千篇论文，这种活枯燥到连干活的人自己都不想干。 安全是Nathan追问的重点。他提了一个尖锐的问题：Elicit可能是最有助于复现危险研究的工具，因为那篇关键论文八成就在文献库里。Andreas的回应分两层：边界用途要么走账号审核，要么用砍掉相关功能的版本；他提到Dan Hendrycks等人参与发布的WMDP基准，研究能否让模型“遗忘”大规模杀伤性武器相关的知识。Jungwon补了一个巧妙的观察：理解用户查询的意图，99.99%的情况下用来给出更相关的结果，罕见情况下也能用来发现可疑行为。**把产品做好的能力和防滥用所需的能力，经常是同一个能力。** Nathan还分享了一个亲身体验：他习惯性地对每个新产品做红队测试，Inflection的Pi是唯一一个他始终没能越狱成功的。它的特别之处是能识别“用户状态不对”，会来一句“哥们，你听起来情绪有点激动”，先把人安抚下来。他的结论是，判断“这个人状态不正常”可能比判断“这段内容有问题”更容易，因为太多内容天然就是双用途的。 公司形态这段也有信息量。从非营利研究实验室转为营利公司，Jungwon解释说这条路在生物科技领域早就成熟，大学都有技术转移办公室，OpenAI之前大家也是这么干的。原非营利由独立董事会运营，全程请了独立估值，非营利方明显受益，最初推动这件事的正是他们的慈善捐赠人和董事会。现在Elicit注册为公共利益公司（PBC）。她强调使命和商业在这里不冲突：**产品要赚钱就必须准确、可靠、擅长复杂推理，这跟使命天然收敛。** 招聘上，Andreas最想要资深软件工程师，Python、TypeScript，前后端都要，不要求机器学习背景。他的说法是，用不可靠的组件搭建可靠系统，这件事需要极高的人才密度，团队里有来自Google、Stripe、Square的人。Jungwon还要产品设计师、产品营销，以及能把离线评测和实时反馈打通的数据科学家。 ## 明天就能用的六条 - 别再写“先答是或否再解释”的prompt。让模型先推理再下结论，这个错误至今仍出现在大公司的产品里。 - 给模型留退路：允许它输出“原文没提”，并说明查过哪里、本来预期在哪。强迫作答是幻觉的主要来源。 - 拆任务时先问“这个输出好不好检查”，接口按可验证性设计，别只按生成难度设计。 - 验证环节可以拆得比生成环节更碎：把摘要切成独立论断逐条核对，能抓出隐蔽的夸大和错误关联。 - 微调数据几百到几千条通常就够，省下的精力投给评测集；评测集优先用真实业务里自然存在的金标准，别专门造。 - 别绑死一家模型供应商，把“快速换模型”当成核心工程能力；每周都有新模型出来，不换就是落后。 Jungwon在节目开头说了一句有点重的话：“我们有变革研究的宏大愿景，而时间可能不多了，得赶在它需要支撑混乱时期的高风险决策之前，把产品做到真正有用。” 一个12人的团队，把这句话当成deadline在干活。至于普通用户，Elicit里已经有一个叫list of concepts的基础工作流，按概念组织文献，一行对应一个概念，论文填进下游的单元格，Andreas说效果常常让他自己都惊讶，值得试一下。