# 100多位博士和Claude比拼科研点子，盲评前10名AI占了9席

> Cognitive Revolution No. 184 中文精读

- 原标题：Can AIs Generate Novel Research Ideas? with lead author Chenglei Si
- 发布日期：2024-10-23
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/184-can-ais-generate-novel-research-ideas-with-lead-author-cheng-IOCi6q.html
- 精读字数：约 5642 字（阅读约 13 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

先说实验怎么玩的。100多位NLP方向的博士，每人提交一个研究点子，报酬300美元，最好的点子另有约1000美元奖金。另一边，Claude 3.5 Sonnet批量生成点子，单个主题先冲到几千个再筛选。所有点子统一改写成同一种学术文风，抹掉出处，交给领域专家盲评打分。

结果两句话。第一句：新颖性和兴奋感两项，AI的点子显著更高，换三种统计口径检验都成立。第二句：把全部点子按总分排序，前10名里，9个来自AI。

这项研究的论文标题直译是《大语言模型能产生新颖研究点子吗》，第一作者是斯坦福博士生Chenglei Si。他最近做客Nathan Labenz主持的Cognitive Revolution播客，把实验的里里外外讲了一遍，钱怎么花的、坑踩在哪、下一仗打什么，全说了。这篇精读把关键内容拆开来看。

## 为什么值得花一年做这个实验

Chenglei是NLP科班出身，本科就做相关研究，去年到斯坦福读博。当时领域里的大背景是，大模型在推理、数学、代码上的成绩越来越好。他琢磨，自己做了这么多年研究，如果能自动化科研本身，这件事的想象空间比攻克某个具体任务大得多。两位导师也很支持，项目从一年前就启动了。

时间花得很有意思：搭生成点子的agent,两三个月；找人、组织人类实验，八个月。**AI的部分反而是快的，人的部分才是大头**。

为什么这个问题重要？Nathan在节目里把逻辑挑明了：**如果AI能对机器学习研究本身做出实质贡献，研究效率提高10倍、100倍，那最终模型能好到什么程度，没人说得准**。迈过这道坎，一切预测失效；迈不过，世界照常运转。

Chenglei提到了Leopold Aschenbrenner那份著名的《Situational Awareness》,里面有个数据点：到2028年左右，可能拥有“自动化的Alec Radford”。Alec Radford是GPT论文的第一作者。节目录制当天，他刚在推特上被一群人提名为“影响力最大却最不为人知的科学家”。导师提醒过Chenglei,在学术场合说“智能爆炸”显得太激进，但这个愿景确实是他做这件事的动力之一。

他也清楚，自动化Alec Radford目标太高，全领域只有一个Alec Radford。他更想回答一个务实的问题：**当前这代模型，跟普通博士生比，出点子的水平到底怎么样？**给整个领域一个具体的基准点。

> “如果有一天，你告诉我有一个agent想出了点子，自动把它执行成完整项目，投给顶会，还拿了最佳论文奖，那才说明这事真的成了。”

这是他给自动化科研“尤里卡时刻”下的定义。在此之前，领域里已有几次著名尝试。卡内基梅隆大学Gabe Gomes团队的Coscientist,用户说一句“帮我合成阿司匹林”，系统查资料、写步骤，通过API操控真实的自动化实验室，最后吐出成品。Nathan当时给它的定位是“文本到实验协议”，AI执行得很漂亮，但点子本身还是人给的。日本公司Sakana AI的AI Scientist往前走了一步，批量生成点子，用Semantic Scholar API查重判断新颖度，再自动写论文，一篇成本只要几十美元，不过按他们自己的评估，水平大致相当于需要导师再带一带的初期研究生。还有NVIDIA Jim Fan团队的Eureka,让GPT-4给机器人手写强化学习的奖励函数，写出来的比人类作者还好。奖励函数这东西，街上随便拉个人可写不了，GPT-4能超过人类作者，而且结果客观可测，这个信号当时就很硬。

## 实验怎么搭：八个月磨人的盲测

实验设计遵循两条原则。第一，要有像样的人类基线，博士生就是这个任务上的专家。第二，所有评审由人类专家完成，因为大模型当审稿人还不到时候，后面有数据。

人类这边，100多位参与者以NLP方向的博士生为主。AI这边，主力模型是Claude 3.5 Sonnet。团队起初用GPT-4o,听实验室同事说Claude 3.5在科学和推理任务上更强，对比两边生成的点子后果断切换。o1刚发布还没来得及测，在待办清单上。研究题目一共7个，全部集中在提示词技术这个方向。记住这个范围，聊争议时会用到。

AI的生成流程堆了不少细节：

- 先检索与主题相关的论文，塞进提示词当灵感；
- 手工写了6个示范样例，统一格式：动机、问题设定、提出的方法、分步实验计划；
- 批量生成，每批5个，先把数量堆上去，单个主题最多冲到8000到10000个；
- 把已生成点子的标题追加进提示词，要求模型别重复自己；
- 用语义相似度去重，大约95%的点子被过滤掉，每个主题剩下约200个不重复的点子。

去重之后是排序，这里有个很实用的发现：**让模型直接给1到10分，效果很差；两两对比再汇总战绩，好用得多**。配对方式也有讲究：每个点子和当前累计得分最接近的对手比，类似瑞士轮，没有淘汰制。不然两个最好的点子第一轮撞上，输的那个战绩0胜直接沉底，好点子就被埋了。

AI自己排完，Chenglei又人工重排了一遍。他没看AI的排序，完全按自己的判断来，对比后发现，有几个他一眼认定顶级的点子，AI根本没排到前面。这就是论文里“AI点子+人类重排”这个实验组的由来。

还有一步容易忽略：所有点子，人类的和AI的，都过同一个改写agent,统一成学术文风，只许改表达，不许动内容。原因是人类原稿的痕迹太明显，有人句子不通顺，有人写得太口语、太热情，评审一眼能猜出来源。市面上的AI检测器普遍不靠谱，但领域内的人对AI文风有直觉，某些高频词一出现就露馅。偏好一掺进来，数据就脏了。

最后，专家评审给每个点子打1到10分，五个维度：新颖性、兴奋感、可行性、有效性，外加一个总分。每个点子平均拿到3份评审，最少2份，最多4份。

## 结果：新颖性和兴奋感，AI显著胜出

核心结果一句话：**AI点子在新颖性和兴奋感上显著高于人类点子，而且换了三种统计口径，结论都稳**。三种口径分别是：每份评分当一个数据点；每个点子的平均分当一个数据点；每位评审对AI组和人类组的打分差当一个数据点。第三种专门用来排除评审个人偏差。Chenglei全程盯着评审提交的过程，看到有的评审讨厌提示词研究，通篇给2、3分；有的特别喜欢，张口就7、8分；还有的对某个题目偏爱，给的点子 systematically 分高。他和导师当时约定，把能想到的统计检验全跑一遍，只要有一种检验下结论不成立，就不下这个结论。结果新颖性这一项，哪种检验都推翻不了。

其余维度：可行性人类略高，没到统计显著；有效性两边接近；总分AI更高，经过人类重排的AI点子总分优势最明显。

几个细节值得单独拎出来。单点最高分，新颖性一项人类最高8分，AI拿到10分；兴奋感人类最高8分，AI拿到9分。AI点子得分的标准差和人类基本一样，兴奋感一项甚至略宽。Nathan平时给人科普AI能力，惯用的框架是：不同任务之间差异巨大，翻译这种任务已经超人，堆叠物体的空间常识还很差，但同一任务内部表现相当稳定。所以他看到AI点子的波动和人类一样大、峰值还更高时，觉得这个信息量很大。他引用Tyler Cowen的说法：看一个人的水平，看他的峰值。按这个标准，AI的峰值已经压过人类。

Chenglei自己通读了所有点子，人类提交的和他盯着的AI生成的都看了。他的观感是，**AI点子有种奇怪的气质，和近几年论文里的常见套路拉开了距离，扎根现有文献扎得没那么深，跳出框框跳得更远**。举一个论文里的例子：在“不确定性校准”题目下，AI提出把self-consistency升级，生成一堆多样化的答案，两两之间计算谁支持谁、谁反驳谁，构建一张图，再用中心性这类图指标度量不确定性，替换简单多数投票。另一个没写进论文的点子更怪：先让模型生成“不确定性样例”，这个答案算不确定度10,那个算9,建一张映射表，新问题来了，拿生成的答案去比对，离哪档最近定哪档。他的评价是，跟现有所有不确定性估计方法都不一样，很怪，但有意思，还没验证。

钱的事也值得交代。人类报酬总计约3万美元，API账单比这还多一点点。大头在三处：超额生成，想要200个不重复点子得先生成4000个，团队实际按8000到10000的量去测极限，大量token花在最后会被扔掉的重复点上；提示词越滚越长，历史标题不断追加，输入token持续膨胀；新颖性过滤，每个点子要和检索回来的每篇相关论文逐一比对，开销不小。摊下来，**得到一个有效的不重复点子，大约要花几美元**。Nathan补了一个视角：他和前沿实验室的人聊过，对方反复强调，人们普遍缺乏对推理算力堆量的直觉，试1次、试3次没戏就下结论说模型不行，很少有人想试1000次、100万次会怎样。AI Scientist一篇论文几十美元，质量不行，可如果千分之一出好东西，经济账就算得过来。

## 泼冷水的人说了什么

这篇论文在网上引发了激烈争论。Nathan的评价是，它像罗夏墨迹测验，乐观的人看到里程碑，怀疑的人看到方法漏洞，评论往往暴露的是评论者自己。

第一条质疑，领域太窄。所有点子都集中在提示词技术，结论未必能推广到更硬的科学。Nathan认可这一点，不能把一个结果外推到所有领域，但他认为实验设计本身扎实，统计上显著的结果可信。

第二条，人类基线偏弱。团队问过写点子的参与者，得到的回答是，这些点子大约代表博士生的平均水平，够不上顶尖。Chenglei的补救计划是拿AI点子去和ACL这类顶会的正式录用论文比，那才是更强的基线。

第三条，谄媚问题。大模型经过RLHF,学会了讨人喜欢的表达，会不会只是把“新颖”的词藻堆在开头，内容其实空洞？Chenglei承认没百分之百排除这个可能。两边用了同一套改写提示词，文风已经拉平，但个别AI点子开头的新颖措辞可能漏了过来。团队计划做用词和文风的后续分析，而终极答案只有一个：**把点子真的做出来，看它到底管不管用**。

第四条，点子多样性有天花板。几千个生成里只有约200个不重复，曲线在后期批次明显饱和。两种解释：要么这个题目下的点子空间本来就有限，要么模型能生成的多样性有上限。Chenglei说团队没往死里压榨多样性，防重复的手段很朴素，就是追加历史标题，微调模型、改解码策略这些手段都还没用。如果全都用上还是撞墙，那才能下结论说基础模型有硬上限。

还有一条和主线无关但重要的数据：自动审稿现在不可信。把真实投稿压缩成接收与拒稿的二元判断，衡量两套审稿意见的一致率，随机是50%,NeurIPS人类审稿人之间66%,ICLR做到71.9%,他们测试的大模型审稿人只有56%。**人类和人类的一致度，明显高于AI和人类的一致度**，差距实打实。在主观性强、利害关系大的评审任务上，现在还不到放手让模型打分的时候。

## 下一步：把点子真的做出来

团队现在的重心是执行研究：招募研究者，把人类点子和AI点子分别实现成完整项目，每实现一个点子付几千美元。这一步做完，前面所有关于主观评审的质疑都有机会被客观数据回答。那些看起来很怪的AI点子，到底只是怪，还是真能跑出结果，到时候见分晓。Chenglei说，无论哪个方向的结果都有意思：如果AI点子不光看着新颖、做出来也有效，故事就非常硬；如果反过来，那连人类评审在点子阶段的可靠性都要打个问号。

执行agent他们已经做了初步尝试，踩到的坑很有代表性。agent能写出能跑的代码，能报出基线和新方法两组数字，但细看实现，问题不少。有一次做文本分类，agent拿基于关键词的方法当基线，这个年代完全不合理；还有时候，agent实现新方法时会偷偷跳过某些步骤。这类问题要求对实现的中间步骤做正确性检查，光看最终数字不够。他的目标是把执行能力的评测做成公开挑战，让整个社区一起攻。执行环节一旦打通，点子生成加自动执行就能串起来，规模化之后，才有机会摸到他定义的那个尤里卡时刻。

新模型方面，o1在他的待办清单上。Nathan自己最近用o1加Cursor写代码，感受很直接：o1能通读整个代码库和他的新功能计划，给出批评和通常确实更好的替代方案。Nathan的总体判断是，**Claude 3.5 Sonnet和GPT-4o这一代模型，在系统设计上花大力气、烧掉几百万token之后，有时能产出有意义的新点子，但还远没让前沿研究变得人人可及；o1这一代很可能改变这一点**。如果o1能把自动评估做到接近人类水平，重排序环节的推理扩展就能转起来，迭代周期大幅缩短。另外Chenglei也在想，手里攒了大量会议论文数据，也许可以对Llama这类小模型做微调，用更低的成本跑通这条流水线。

时间线上他放了个判断：**让AI写的论文被顶会接收，离得并不远**。他觉得现在最好的那些点子，形状已经和ACL上发表论文很像，只要执行环节啃下来就有戏。至于最佳论文奖那个终极目标，他给自己的期限是毕业前，大概三四年。他承认这个估计激进，但这是目标。

## 明天就能用的几条经验

这场对话里藏着不少可以直接搬走的做法：

- **评估开放性任务，用两两对比，别让模型直接打1到10分**。这是实测出来的差距，成本只多一点配对逻辑。
- 想要高质量输出，先超额生成再过滤。95%的重复率是正常水位，预算按这个比例留，别指望一次生成就是精品。
- 做盲评之前，把所有样本过一遍统一的风格改写，抹掉来源痕迹。评审的偏好偏见比多数人以为的更隐蔽。
- 分析评审数据多换几个口径：按单条评分、按条目平均、按评审人内部对比。结论只在一种口径下成立，那不叫结论。
- 对推理算力建立新直觉。同一个任务，试3次和试300次是两种游戏，前提是配一个哪怕不完美、但能区分好坏的排序器。
- 看你的数据。Chenglei读完了全部几千个点子，所以当数字说AI赢了，他能拿出具体的点子告诉你为什么。数字可以被操纵，亲手读过的原始输出不会骗人。

这场实验最有意思的地方，在于它同时给出两个信号：AI的点子更新颖、峰值更高，同时可行性略逊、多样性会饱和、执行还没打通。两件事都成立。真正的问题是，哪一边会先在下一代模型里被放大。Chenglei押的是前者，他的毕业时间表，就是这场押注的截止日期。