六年前拿真人模拟AI做实验，如今25万人在用：Elicit 把思考拆成了流水线

2023年4月初的《Cognitive Revolution》里，主持人 Nathan Labenz 抛出一个数字：GPT-4 对阵 GPT-3.5，人类盲评的胜率只有七三开。两代旗舰模型的差距大到全行业沸腾，落到单个回答上，三个人里就有一个觉得老模型更好。评估这件事，比所有人想的都难。

这期嘉宾是 Ought 的两位创始人，Jungwon Byun 和 Andreas Stuhlmüller。Ought 是一家产品驱动的研究实验室，非营利，旗舰产品叫 Elicit，一个从文献综述切入的 AI 研究助手。节目播出时，Elicit 已有约25万用户，每周使用不止一次的至少一万人。Nathan 开场就交代，自己是在医院产房录的这期节目，家里刚迎来第三个孩子。

Nathan 的身份是创业者和 AI 投资人，2023年初市面上的同类产品他基本试了个遍，结论很直接：Elicit 是少数真正给研究流程加分的产品。但真正让他兴奋的另有其事，Ought 从六年前就在推一套方法论，如今整个行业开始追着补课，过程监督。

帮机器学会思考，难在哪

Andreas 先拆解了机器学习的两条路。一条是模仿，学人类怎么写文本；另一条是强化学习，给奖励让它自己优化，AlphaGo 就是这么赢的。他给出一个判断：AI 超越人类的案例，几乎全部来自强化学习，因为只有奖励信号能逼出人类没想到的新招。

但强化学习有前提：任务定义清楚，目标明确。下围棋，赢就是赢。帮人把问题想清楚、把决策做得更好，找不到这样的目标。

于是只剩代理目标可用。最顺手的代理目标是“看起来好不好”：有没有说服力，像不像有用。Andreas 的原话值得记下来：看起来有说服力和真的有道理，是两回事。今天模型还在模仿阶段，帮人写东西、头脑风暴都没问题；想让它在思考上超过人类，中间缺的东西还很多。

Nathan 追问，限制是不是就是稀疏奖励加上人类评分不可靠。Andreas 说更根本的问题是任务本身没定义。你问模型“我该做哪个决定”，它给一堆考虑，你听着觉得还行，可只要你想让它做得比你自己好，这套范式就到头了。

一分钟一棒的接力编程

公司成立时连 GPT-2 都没发布，没有语言模型可用，他们想了个土办法：拿真人当 AI 做实验。最有名的一个叫接力编程。一道编程竞赛题，每个参与者只有一分钟，能读的材料有限，做一点进展，把笔记传给下一个人，一棒接一棒。

背后的问题很根本：思考到底有多强的可组合性？一个人必须把全局装进脑子里才能推进工作，还是可以把任务拆碎，让完全不了解全局的人各自贡献一小块？

实验给出两条硬结论。第一条关于错误：每个子任务哪怕只有10%的概率出错，串上20个子任务，整体几乎必然出错。消灭错误的速度必须快于引入错误的速度，否则链条越长越完蛋。麻烦在于，纠错机制本身也得由一分钟的小任务拼出来。Andreas 说，这跟今天拼接语言模型遇到的困难一模一样：单步还行，组合多了就飘。

第二条关于状态传递。另一个实验里，一个人总结影评，其他人只能看到局部，判断总结是否准确。参与者很容易被某条论证带偏，卡在原地，忘了整体目标。上下文窗口太小，中间状态怎么在参与者之间聪明地传递，当时没有答案。Jungwon 说这个问题今天依然存在：每次调用语言模型都从零开始，业界还没搞定状态的传递。

为什么执着于让执行者“看不见全局”？Andreas 的理由是评估。如果 AI 能读完整本书而你读不了，你就没法检查它的工作。把任务拆小，让每一步都落在人类能核对的范围内，AI 做的事才可评估。他们要的是透明，哪怕牺牲一点单步效率。

可解释性要靠构造，别靠事后追问

Andreas 用编程打比方：写程序时，每个函数要有独立含义，脱离上下文也能看懂，否则就是没人敢动的意大利面条代码。机器学习的默认做法相反，所有矩阵里的浮点数都为最终指标服务，内部组件什么含义，没人管。有人会搬出苦涩的教训：端到端扩大规模才是王道，手工拆任务太费人力。他的回应是，拆任务这件事本身也可以让语言模型帮忙，未必纯手工。

Jungwon 补了关键一刀：事后解释不可靠。你问模型为什么这么答，它会现编一套理由，说得头头是道，跟真实的计算过程毫无关系。靠构造的可解释性，是训练时就让它走人类可读的流程，你看到的步骤就是它实际做的事。这个保证，事后追问给不了。

Elicit 里对应的功能是可信度清单。学术界本来就有现成工具：样本量多大、资金方有没有利益冲突、控制了哪些变量。Elicit 用模型给每篇论文自动过一遍清单。诱惑的做法是压成一个可信度分数，引用数、期刊级别加权平均，别家也这么试过。他们拒绝了，分数容易被操纵，清单保留了全部细节。就算以后要给分数，也是先有清单后有分数，用户随时能展开分数看回清单。

思维链的隐忧也在这节。Andreas 提到已有研究：把推理步骤换成一行行省略号，模型答案照样变好。潜在计算藏在省略号里，写出来的推理未必真是答案的原因。低风险场景无所谓，等模型开始帮你决定投资、招人，就需要“答案确实由这些推理导致”的保证。

Jungwon 举了个对比。你让模型写一页“政府该怎么应对长新冠”，它直接吐一页文字，这是一回事；它告诉你“我搜了这些数据库、读了这些论文、按这些维度排了序、逐篇查了可信度、汇总后跟这份数据做了对照”，这是另一回事。前者你只能怀疑它瞎编，后者你可以逐项核查。

因果性从哪来？Andreas 的答案很漂亮：来自移除信息。子任务的执行者不知道全局，它只负责判断“这个网页能不能回答这个问题”，不知道这关系到一个用药决定，就不会被无关上下文带偏。全塞进一个大 prompt，一切都纠缠在一起，事后想分析哪个信息影响了哪个判断，基本没门。

110亿参数的小模型，撑起25万用户

Elicit 的产品逻辑：输入研究问题，返回一张论文表格，自动找论文、抽取细节、写摘要。关键设计在核对环节：先定位论文里的相关段落，再基于段落生成答案，答案直接回链原文。用户要核对的东西从“读完整篇论文”缩到“答案加几句话”，模型出错也一眼能看出来。

检索怎么做？Andreas 说，embedding 本质上是“缓存的语言模型计算”。理想方案是用最强模型逐段读遍世上所有论文，现实是分层近似：先用便宜的向量检索筛出约一千篇候选，再用交叉编码器精选，最后才动用贵模型精读。没有干净的最优解，只有按预算做的取舍。

模型选择是这期最干货的部分。他们试遍了市面上的 API，OpenAI、Cohere 都用过，开源的 Galactica、GPT-J、Flan-T5 也测了个遍，最后生产环境押了 Flan-T5 XXL，110亿参数。原因很直接：25万用户，API 账单扛不住，自部署便宜得多。微调只覆盖两个任务，针对你的问题定制的摘要，和论文问答，共享一套评分标准：简洁、真实、有用。

训练方法借鉴了 Anthropic 的 Constitutional AI：找个最大的语言模型当裁判，按评分标准对答案两两比较，用这些判断训练奖励模型，再用奖励模型训练 Flan-T5，工程师 Charlie 主导，效果很好。Andreas 强调组件其实很少：搜索、根据结果回答、摘要、排序、聚类、过滤，几个核心件反复组合。他管这叫用自然语言做函数式编程，就像 map、fold、filter 几个算子能搭出整个程序，威力在组合，不在堆组件。

聊到刚发布的 GPT-4，他们认可进步，抱怨也很冲：别再做更大的模型了，先把幻觉降下来。问它“Andreas Stuhlmüller 是谁”，它会编出几所他没上过的大学。Andreas 说高鲁棒性经常比更大的模型更有用。Jungwon 补充：强化学习让模型过度自信、概率校准很差，想拿 GPT-4 做排序根本没法用，API 连 log probs 都不给。还缺的能力清单上有：因果推理、把一堆研究想法高效聚类切分，以及知道什么时候该停。下一个词预测的机制决定了模型只会沿一条路走到底，说不出“我卡住了，换条路”。今年早些时候他们试过让模型自己拆解任务，就败在这。图像输入倒是很值得期待，论文里大量信息藏在图表里。

委派整个任务，还是当个副驾驶？

Nathan 抛出行业争论：copilot 模式，AI 在旁边辅助你干活；assistant 模式，你派活，它干完回来交差。他的观察很扎心：做了这么多期访谈，问嘉宾们平时在用什么 AI 产品，答案少得可怜。应用层看起来热闹，成千上万个产品发布，真正进入日常的没几个。

Andreas 指出 copilot 有个硬约束：所有交互都必须快，快就限制了思考量。代码补全必须毫秒级响应，模型没时间深想。真需要模型多想一会的任务，copilot 模式装不下。他很难相信人类关心的所有任务都能塞进这个框里。

Jungwon 站用户这边：真干活的时候，容忍度低到尘埃里。不想要“我是一个乐于助人的助手”的客套，不想给不完美的答案提反馈，就想要最好的结果直接端上来。Nathan 还补了个略带犬儒的观察：就算你的终局是全自动，让百万用户先帮你踩坑、标出模型哪里断掉，这笔反馈账也划算。他提了谷歌机器人团队的思路：机器人学会在搞不定时呼叫求助，远程操作员用摇杆接管，这些接管数据回头就变成训练材料。

三阶段路线图：从已知到未知，再到决策

Ought 给自己排了三个阶段。第一阶段，发现已知：世界上的信息大量困在 PDF 和书里，难检索、难查询，Elicit 把非结构化文本变成表格，新上线的 List of Entities 工作流再往上一层，跨论文提取概念清单，某领域用过的数据集、评测基准、某种药物的副作用、试过的干预手段、值得做的研究方向，每条都带论文链接。

第二阶段，发现未知：文献读透之后，找出缺口和关键分歧，帮研究者提出假设、设计实验，技术核心是因果建模，把第一阶段收集的观察汇总成能泛化的因果模型。第一阶段求广，批量处理；第二阶段求深。第三阶段，面对不可知做决策：用户从研究者换成决策者，有些高风险问题没有标准答案，剩下的是价值观和偏好，比如职业选择，这时语言模型的用法变成把决策者自己的价值观和无法验证的假设引出来摆到台面上。

Jungwon 特意强调，文献综述只是起点，他们没打算永远做检索工具。工作流的开放也有清晰路径：先给预设工作流，再开放改参数，换检索词、删论文、调聚类；再开放改步骤，换语料、加一步交叉验证；最后用户自建工作流，模型学着自动建议。已经有研究者在 Elicit 一个叫 Tasks 的内部试验页上手动串任务：先生成一批研究问题，逐个跑文献综述，摘要再喂给下一轮。Nathan 一句话总结，这就是推理版的 Zapier。

用户画像：六成是学术研究者，其余来自智库、政府、金融、咨询，还有不少临床医生和小企业主，做系统综述的生物医学团队把 Elicit 塞进了正式流程。商业上，这家非营利公司撞到了慈善资金的天花板，正在考虑商业化载体，还在招产品经理。目标客户的判断标准很干脆：看任务性质，不看行业标签。可口可乐里研究怎么减糖的研究员算他们的用户，给企业文档做内部搜索引擎的事他们不接。

Nathan 还拿这套思路对照了埃里克·德雷克斯勒的“全面AI服务”（Comprehensive AI Services）构想。Andreas 说确实同源，区别在颗粒度：德雷克斯勒的服务粒度较大，服务内部仍可端到端优化；Ought 想把颗粒度压得更小，小到每个组件都独立可查。任务尺寸的原则一句话：在人类能可靠评估的前提下，任务越大越好，越过这条线就危险。

安全不能只指望实验室

聊到 AI 安全，Jungwon 的态度是可能性范围极大，预测不了。她更在意的一件事：安全不能只发生在最大的 AI 实验室，也要发生在终端应用里。她希望消费者开始向 AI 产品要求过程监督和透明度，用需求端倒逼供给端。

她上一家公司 Upstart 用机器学习做信贷，金融是重监管行业。好的一面，营销话术里不许出现任何没有数据支撑的表述，消费者被保护得很好；坏的一面，监管永远追着创新跑。她希望监管跟上技术节奏，也希望科技行业多讲讲监管做对了的案例。

Andreas 的判断更冷：真正在做对齐的人，占从业者的比例很小；他所在的方向，用 AI 提升集体智慧和决策质量，几乎没人做。各大实验室都把过程监督列为核心对齐押注，这算好信号，但真金白银的投入跟堆模型的投入完全不成比例。他列了张愿望清单：组合式语言模型程序专用的调试器、可视化工具、编译器。

乐观的部分也有。Andreas 说，也许社会最终会决定限制超大规模训练，而 AI 本身能帮我们看清该不该限、限在哪。Nathan 接话：算力上限这种监管妙就妙在不碍着博士生和创业公司，但谁想造一个百倍于 GPT-4 的东西，社会能提前收到风。Jungwon 拿历史做对比：瓦特不知道蒸汽机会带来什么，古登堡也不知道印刷术会释放什么。这一轮的区别在于，至少所有人都知道自己正在释放某种巨大的东西，主要实验室从第一天就把安全当回事，这算一步领先。

节目结尾，Jungwon 的愿景值得整段记下来：

疫情期间，朋友在政府不同层级工作，他们告诉我那些影响巨大的决策是怎么在混乱的邮件串里做出来的。我真希望这种事到此为止，让 AI 为身处高风险决策的人生成既切题又足够严谨的一页纸备忘录，让我们在治理这个世界时聪明得多。

Andreas 的收尾落在信念与价值观的区分上：他觉得大多数争论的根源是各自看到的证据不同，价值观本身没那么对立。AI 风险是九成毁灭还是一成毁灭，全民基本收入好不好，分歧多来自证据面不同。乐观的情形是 AI 帮所有人看到证据的全貌，派系斗争让位于协作。

快问快答也有点温度。Andreas 自己写了个 Emacs 的 GPT 插件，开源，叫 gpt.el，写代码和日常都在用；Jungwon 靠 ChatGPT 加 Deepnote 这对组合写 Python，自嘲没编程背景也干成了不少事。被问到愿不愿意植入 Neuralink 用意念操作电脑，两个人都秒答愿意，Jungwon 说她受够了把脑子里的想法手动敲进笔记系统。

最后是明天就能用上的几条：

• 查文献直接去 elicit.org，用自然语言描述你记得的概念，比如“那篇讲某个效应的论文”，比关键词搜索好用；判断论文可信度，先看样本量、利益冲突、控制变量这套清单，少看引用数。
• 自己调用大模型干正事，把任务拆小，每步只喂必要信息，要求答案附上原文出处。别把所有背景塞进一个大 prompt，出了错你连查的地方都没有。
• 评估任何论文或模型输出，先问一个问题：它没做什么，局限在哪。Andreas 说这是他心中最万能的一个问题。
• 高风险决策前，让模型交代完整过程：搜了什么、读了什么、怎么排序、怎么核查。交代不出来，答案再漂亮也别用。
• 预算敏感的团队可以研究微调开源模型。Ought 用110亿参数的 Flan-T5 服务25万用户，账单比调 API 划算得多。