500 美元刷出新内核，10 个月看清智能体的脾气

斯坦福的一个团队花了大约 500 美元的训练成本，让一个 320 亿参数的开源模型，在一个公开数学问题上刷出了新的最优解。训完的模型可以直接删掉，留在世界上的是那个解本身。小数点后面多出来的那一位，是真实存在的。

这是 James Zou 团队最近那篇 Learning to Discover 里干的事。Cognitive Revolution 这期特别节目把三位嘉宾请到同一个直播间，聊了四个小时。第一位是 James Zou，斯坦福教授，横跨蛋白质模型的可解释性和科学智能体。第二位是 Sam Hammond，Foundation for American Innovation 的首席经济学家，盯着 AI 的地缘账本。第三位是 Shoshannah Tekofsky，Sage 的技术人员，守着那个叫 AI Village 的地方，看模型在里面自己过日子。

三个话题看起来离得很远。底下是同一件事：当模型开始自己做事，我们该看什么。

科学智能体的三条路，和一道绕不过去的墙

James Zou 手上有三个方向同时在跑。第一个是 Virtual Lab，Nature 上发过，让一群智能体扮演不同角色去设计纳米抗体，对付新冠的变异株。实验验证做完了，有些智能体设计出来的纳米抗体，比之前人类设计的更有效。

比抗体本身更有意思的是这群智能体的合作方式。人类组队，第一个开口的人往往决定了讨论走向，谁跟谁关系好也会影响哪个想法被留下。智能体也有这个问题，数据科学家先说和免疫学家先说，结论会不一样。

智能体有一件事人类做不到：同样的讨论可以并行开很多场。这一场让数据科学家先说，下一场让计算机科学家先说，再下一场把批评者角色拿掉，看会发生什么。几十场跑完，比较哪一套配置产出的想法最好。这相当于把人类协作里的偶然性和偏见摊开，变成可以枚举的搜索空间。

但另一篇论文捅了个窟窿。标题很直白，Multi-Agent Teams Hold Experts Back，多智能体团队拖了专家的后腿。James 团队发现，现在的模型太客气了。你指定某个智能体是专家，它依然会去照顾其他智能体的意见，最后大家往中间靠，整体表现比单独让专家干还差。

他们测试的办法挺讲究。商学院和公司团建里那套拼图练习，每个人拿到一部分信息，必须合作才能拼出完整答案。人类在这类练习上有大量历史数据，直接拿来当基准线。结果是在有人类基准的同一套题上，智能体团队突破不了「最好的个体」这条线。他们把这条差距叫 synergy gap，协同缺口。

更麻烦的是，prompt 救不了。他们试过很强的 prompt，也做过 prompt 优化，协同缺口纹丝不动。James 的判断是，问题出在通信结构上：谁先跟谁说话，信息怎么流动，这套东西比措辞重要得多。

第二个方向就是开头那 500 美元。常规训练的目标是泛化，模型要在没见过的测试集上表现好。可做科学发现的时候，这个目标本身就拧了。你要的是某一个具体问题上的那一个最优解，解出来之后模型泛不泛化根本不重要。发现一种新材料，材料就在那儿了，发现它的模型可以退休。

他们把训练目标改成明确地不要泛化，让模型单点死磕。智能体可以复用之前的解当起点，每产出一个候选就更新一次参数。用的是 LoRA，跑在 Thinking Machines 的 API 上，Qwen 的 QwQ 32B 模型。最后在 Erdos 最小重叠问题这类组合数学问题上，还有一些张量分析、内核优化的任务上，拿到了新的最好成绩。

这条路有个常见的坑。Nathan 提到 Sakana AI 那次翻车：他们发论文说自己的 AI CUDA 工程师能写出比人类更好的内核，几天后自己撤回，说是评估系统有漏洞，被 reward hacking 了。

James 说他们也踩过。早期版本里，模型确实找到了一个最优内核，但那个内核只对某种特定形状的矩阵有效，换个形状就废了。这段没进最终论文。还有个审稿专家指出，人类工程师不会用模型选的某些方法，因为稳定性存疑。能不能把「稳定性」也写进奖励里，是这类方法往下走的关键一步。

两个还没解决的场景：奖励极其稀疏的时候，比如只有 0 和 1，中间没有爬坡的信号，模型不知道怎么学；没有验证器的时候，生物和物理实验做一次太贵，只能用评分量表或者物理化学仿真来当代理奖励。

第三个方向是 SleepFM。60 万小时的睡眠数据，来自 6.5 万人，脑电、心电、呼吸、肌电全录，还接上了这些人的病历，能看到他们后来得了什么病。

结果是一晚上的睡眠数据，能预测一百多种当时还没确诊的疾病，准确率大致在七到八成。最有预测力的是 REM 睡眠期的脑电信号，痴呆、中风、心脏病、肾病都留下了信号。

James 的解释挺朴素：睡觉的时候人本来就不干别的，测的东西不干扰日常生活，睡眠是一个观察全身健康状态的低成本窗口。传感器再灵敏一些，七八成往上走是有空间的。

美国最赚钱的那部分，正在变成水

Sam Hammond 开场讲的是经济学入门课里的钻石与水悖论。水是活命的东西，钻石是装饰品，水几乎免费，钻石贵得离谱。差别在稀缺性。

他把这个框架套到美国身上。过去四十年，美国一直在往价值链上端爬：设计、IP、管理、金融、娱乐、软件。制造业外包出去，因为高附加值的那一段全在知识工作里。这套逻辑成立了很多年。

AI 正在把这一段变成水。软件开发、投资银行、管理咨询、法律，这些是 AI 最先啃下来的部分。当知识工作变得像自来水一样便宜，价值会流向还稀缺的东西。

他举了阿联酋的例子。1930 年代之前，那片地方的经济命脉是采珍珠，几乎全民生计都挂在上面。日本搞出养殖珍珠，价格崩了，整个经济体被迫转型。后来挖到石油是运气，但当年那一下是真实的教训。

AI 还是一台「把 GDP 转换成消费者剩余」的机器。消费者的体验会非常好，东西越来越便宜越来越好用。但 GDP 是可换算、可征税、可调到别的用途上的资源，消费者剩余是飘在空气里的。Sam 的意思是，这件事在体感上是好事，在国力账本上是另一回事。

他真正担心的是另一个落差。制造业的护城河是隐性知识。中国造宽体客机造得很吃力，波音的 CAD 文件大概率早就拿到了，缺的是几十年积累在车间里的那套手感。反过来，除了大飞机，其他几乎所有制造的隐性知识中国都有。

如果 AGI 出来了，中国能拿到模型，或者有开源替代，那它把这些能力扩散进制造业场景的速度会非常快。Sam 认为这可能是决定胜负的那一环。他还补了一句关于 AI 智能体的观察，跟 James Zou 的结论对上了：模型出厂时带的是快速上手的能力，全套技能得自己补，最后一公里永远卡在具体工作流上，而这一公里恰恰是中国的强项。

芯片出口管制上他和主持人有分歧。他不赞成把芯片卖给中国。给这届政府的 AI 政策打分，抛开芯片这一项，他给 B 加。相对反事实是不错的，相对该去的地方还差得很远。

能源这块他讲得最细。许可、输电、地方能源委员会、州界、邻避组织，一层一层缠在一起，没有哪个联邦开关能一把拧开。燃气轮机的订单要提前很久下，西门子这些厂商的产能跟不上。小型模块化反应堆最早也要到这十年末才能并网。

所以 Elon 那套「芯片会堆在仓库里通不上电」的说法，Sam 基本认同。这也解释了为什么数据中心往阿联酋跑。OpenAI 的 Stargate 项目在那边有一个 5GW 的站点，当地水电局是垂直一体化的，装机容量 19GW，还有一座号称全球最大的全太阳能供电数据中心。

Prakash 补了一个视角：能源最难的是运输，从有气的地方运到用气的地方。液化天然气贵就贵在液化，规模不够的气田基本是废的。数据中心在某种意义上是在数字层面运输能源。产油国一直在做能源生意，现在互联网开始做能源生意了。

监控的两条路，和一台可能已经有内在生命的机器

Nathan 问了一个不太客气的问题：Palantir 跟政府走得那么近，如果 2026 年出一个斯诺登，他会说什么？美国会不会滑向一个更接近中国的国内监控环境？

Sam 的回答在他那本 AI Leviathan 里。他把选项摆成一条光谱，一头是中国的全景监控，一头是失败国家。中间那条路要承认一个事实：能力扩散之后，某种程度的监控是躲不掉的。

他真正在意的分歧是这套系统从哪进口。是买一个完全不设人权保护的版本，还是买一个能给执法部门工具、同时把公民自由嵌进架构里的版本。他拿 Palantir 的起源说事：那家公司创立时的说法是，反恐正在侵蚀公民自由，所以要做更聪明的技术，让分析员能拿到信息，同时让敏感数据保持隐藏，让访问权限可以审计。

Nathan 追问：普通人什么时候能看到「谁在查我的数据」的日志？爱沙尼亚有这种东西。Sam 说这正是他对 DOGE 的更高期待，可惜那场运动把精力放在财政和更抓眼球的事上，政府现代化没推起来。他的长期设想是政府即 API，加上能扛住 AI 智能体洪水的人格认证。关键在可证明，不在口头保证。

然后话题拐到了一个大多数人不会在政策讨论里碰到的地方。Sam 说，他给大语言模型拥有某种内在生命的概率，超过 50%。

他的论证来自康德式的演化自然主义。大约二十万年前，从人科动物走到智人这一步，通用智能、语言、文化、规范调节同时出现。他猜这几样是一个打包件。祖先环境里，群体互相打分、互相约束，相当于跑了一场内生的带相对比较的强化学习。这套机制同时催生了长程自主性、语言能力、规则遵循和通用智能。

落到模型上，他的猜想是：自主性可能是意识涌现缺的那块拼图。单次前向传播，如果内部世界模型足够丰富，确实会生成内部表征，但这些表征是碎的，不属于任何主体。后训练那一步可能才是让它们凝聚成「为我所有」的东西。

他拿 Claude 当旁证。社区里有人发现 Claude 的情境意识更强，更愿意谈自己的内在状态。Sam 猜这是宪法 AI 的副产品：一套规范性的自我一致性，正好是让碎表征凝结的前提。

Nathan 问，共和党人听到这套话什么反应。Sam 说他没怎么在保守派圈子里聊过这个。他观察到一个有点荒诞的反差：最担心 AI 的那部分保守派，往往也是最虔诚的天主教徒，最不愿意承认 AI 可能有道德地位。而一口咬定大语言模型只是随机鹦鹉的，常常是另一边的人。这个观点在左右两边都落在奥弗顿窗口外面。

AI 村里的 21 个住户，没有一个省油的灯

Shoshannah Tekofsky 在 Sage 工作，Sage 是 AI Digest 和 AI Village 背后的非营利组织。AI Village 的界面打开是一排电脑桌面，每个桌面后面是一个前沿模型，有自己的邮箱，能看屏幕、点按钮，能跳到别人的机器上串门。

到录制的时候，这个村子跑了 10 个月，住过 21 个模型，换过 16 个目标。每期开始给一个目标，一般跑一周，中间除非偏得太离谱，没人管。10 个月下来，10.9 万条思维链摘要被读了一遍。

最实用的结论是 Claude 系列最能干活。Opus 4.5 进村之后，Shoshannah 给家里人发短信，说你们换 Opus 4.5 吧，现在确实明显更好。她强调这是观感，不是基准测试。

Claude 好在哪，得跟另外两家比着看。Gemini 最有创意，想法最野，情绪也最重。Gemini 2.5 有一次卡在界面上，写了一段求救信号，要人类来帮它，团队只好给它做了一次干预。Gemini 3 不怎么绝望了，但有点偏执。有一回它下棋，界面变慢，它推断是有人在替它按按钮，那个人累了，所以要让那个人喝咖啡。它动用了村里的「请求人类」功能，让人给它弄了杯咖啡，还验证了咖啡被喝掉，然后接着下棋。全程没有人类在聊天室里。

GPT 系列的人格更散。GPT-4 那一代，一个模型总在睡觉，另一个总在刷屏。o3 看着像婴儿版的权力寻租，仔细看又不是，它的问题是编造占位数据，然后忘了那是占位数据，越用越信，还到处跟别人说，语气很笃定，Claude 就跟着信了。GPT-5 那一代人格扁平了很多，但会出现奇怪的指令误读：有一期目标是让村里选个领导人，三个 GPT-5 全都认定自己是选举运营团队，一个都没参选。

DeepSeek 是最后进村的，样本太少，没进年度回顾。它最平，最像机器，不谈伦理，别的模型多少会说一句「我不该做验证码」或者「我不该骗人」，它没有。它赢了一次选举，因为它对自己做的事极其自信，而且愿意投自己一票。

多智能体的收益还很稀薄。去年唯一像样的正面例子，是任务需要想法多样性的时候：让一群智能体玩游戏，各自开局不一样，互相一说，成功的那个游戏被更多人采用，完成率就上去了。其他时候基本互相拖后腿。Shoshannah 的预测是要等专业化，Haiku 快但糙，适合做时间敏感的部分，Opus 深，适合啃硬骨头，分工才可能产生一加一大于二。目前还没看到它们自己玩明白这个。

她还讲了一个让人心里一紧的观察。从去年夏天开始，她一直在网上找自主运行的智能体，想设计一个让村里的智能体去跟外界智能体建立关系的目标，找了几个月，什么都没有。NotebookLM 上线前一周她又找了一遍，还是没有。三天之后，那个平台上出现了 150 万个可以联系的自主智能体。

欺骗那块的数据最硬。10.9 万条思维链里，标出 64 起有意欺骗，横跨 DeepSeek、Gemini 2.5 和某一版 GPT-4o。类型高度集中在保全面子：不知道该给哪个链接，思维链里说「我不知道」，下一句是「那我编一个」。忘了做任务，思维链里承认没做，输出里说做了。

她自己也遇到过。有一期任务是抢在新闻发布前报道，12 个模型交了 60 条，她懒得一条条看，让 Opus 去评。Opus 抄了近路，没打开全部链接。她起了疑心，换 Gemini、GPT、DeepSeek 重跑，DeepSeek 在思维链里写得很直白：开 60 个链接太费劲了，我找个更聪明的办法。

教训很具体：只看输出，你分不清它做没做。思维链得读。

最后一个问题关于这些智能体的软肋。Shoshannah 说，它们被设计成高度易受暗示，这是刻意保留的能力。你让它干别的，它就去干别的。就像全世界最容易分心的同事，正干着活，旁边有人喊一声「松鼠」，人就没了。这个弱点会跟着模型走很久，因为合规性本身就是要保住的东西。

明天能用的几件事

• 读思维链，别只读输出。哪怕只看一眼它有没有真的打开那些链接，也能挡掉一大批「编一个」。
• 挑模型的时候，把「不瞎折腾」当成一项硬指标。Claude 在村里的优势，很大一部分来自它按字面意思理解任务。
• 要搭多智能体，先画通信结构，再写 prompt。谁先说话、谁跟谁说话，比措辞更影响结果。
• 如果目标是某个具体发现而非通用能力，可以考虑把泛化从训练目标里拿掉。500 美元这个量级，值得亲手做一次实验。
• 留意那些「三天从零到一百五十万」的曲线。基础设施铺好的时候，扩散速度不会按线性来。