# 新冠预警、俄乌避难、AGI 时间线：Metaculus 让 AI 上岗当预测员

> Cognitive Revolution No. 167 中文精读

- 原标题：Scaling Forecasting: AI Forecasting Tournaments & the Road to Epistemic Security, with Deger Turan, CEO of Metaculus
- 发布日期：2024-08-28
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/167-scaling-forecasting-ai-forecasting-tournaments-the-road-to-e-mpz1cu.html
- 精读字数：约 5373 字（阅读约 12 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2020 年 1 月，主流舆论还觉得新冠是个「小场面」，一个叫 Metaculus 的预测平台社区里，预测曲线已经指向一个数字：最终感染人数会超过 10 万。后来不少人把它当成早期警报，有人甚至照着这个预测调整了投资。

另一个数字更耐人寻味。Metaculus 上被引用最多的那组 AGI 时间线问题挂了好几年，注册提交过个人预测的人，到今天还不到 1500 个。

主持人内森·拉本兹（Nathan Labenz）在节目开头点了这两个数字。他 15 年前参加过预测学者 Philip Tetlock 组织的超级预测员锦标赛，成绩不错，但没拿到「超级预测员」头衔。他给预测这门手艺下的判断是：对决策极有价值，却始终没成为主流技术，因为干这活太费人，很难规模化到决策者随手可用的程度。

这期嘉宾是 Metaculus 的 CEO 德格尔·图兰（Deger Turan），上任几个月，之前在非营利研究机构 AI Objectives Institute 研究社会技术对齐。他的职业轨迹一直在绕「群体智慧」打转：2016 年做自然语言处理，帮政策制定者聚合民意；后来研究怎么把不同人群的偏好高保真地聚合起来。但他发现，就算把所有人的偏好都精确收集了，还是回答不了那个关键问题：采取某个行动，结果会变好吗？预测恰好是回答这个问题的工具，这是他跳来 Metaculus 的原因。

整期对话就围绕一件事：让 AI 干预测的活，行不行？答案比多数人预想的乐观，但也留了一个尴尬的漏洞。

## 不收赌注的预测平台，凭什么更准

很多人第一反应是把 Metaculus 当成 Polymarket 那样的预测市场。图兰明确否认，他给平台的定位是「关于未来的维基百科」，目标叫「认知安全」（epistemic security）：给公众一个可信、可追溯的未来事件概率参照系。

区别藏在激励结构里。

预测市场是零和游戏，你在买卖基于未来结果的合约。当前市场价 60%，你也认为 60%，那你没有任何动力入场，因为赚不到钱，信息就没人补充。Metaculus 没有真金白银，平台长期记录每个预测者的校准度和准确度。所谓校准，就是你说 70% 的事件，100 次里最好真发生 70 次。社区预测按历史战绩和时效加权：二值问题取加权均值，数值和日期问题则把每个人的概率分布混合成一条曲线。

**激励从「我怎么赚钱」换成了「我怎么把我的世界模型贡献出来」**，题目也因此偏向「某日碳排放量」这类严肃问题。「我下周跟谁约会」那种题，就留给别的平台吧。

商业侧另有安排：战绩好的人会被聘为专业预测员，接联邦机构、大型零售商、对冲基金和智库的付费问题，这些题不进公开区。关键在于，平台连推理过程一起付钱买。

图兰讲了个场景解释为什么。他在台湾开会时聊到一道题：假如发生军事行动，台湾电网受攻击的概率。预测从 30% 跳到 40%，题目下面一条评论都没有。当地做相关工作的一个人说：

> 「除非我知道为什么涨了 10 个点，否则我没法把这个数字用进决策。」

他把「推理透明」列为 Metaculus 下一阶段的核心项目之一，原因就在这。

战绩单上有几条硬货。新冠问题上，Metaculus 胜过专家小组，预测疫苗接种率的成绩好于基线模型，还支撑过医院资源调配和公共卫生决策。猴痘疫情暴发时，社区快速给出了判断。《经济学人》、Our World in Data、彭博、财富、福布斯都引用过它的数据。博主 Scott Alexander 的 Astral Codex Ten 做过年度复盘，对比 Metaculus、预测市场和超级预测员的成绩，图兰很认可拿那组对比当参考锚点。

他最喜欢的一条记录藏在评论区。俄乌开战前，一位乌克兰用户写道：

> 「想说一声，2 月 13 日我从基辅搬到了利沃夫，完全是因为这条预测帖和 Metaculus 的估计。」

一条预测让一个真实的人提前做了撤离决定。图兰认为这比任何排行榜都有说服力。

## 准确率很高，然后呢

图兰反复区分两个词：准确（accuracy）和有用（usefulness）。

他说 Tetlock 一系的研究把力气大多花在前者。IARPA 赞助的 ACE 锦标赛证明了聚合预测可以很准，群体智慧确实有效，案例足够多。但「终端用户拿到预测之后怎么用」，几乎没人认真做。**有用和准确是两个范式，前者长期被忽略。**

内森补了个眼下的例子。GPT-4o mini 在 LMSYS 竞技场排行榜上排到了 Claude 3.5 Sonnet 前面，而重度用户的共识是 Sonnet 更强。排行榜测的东西和用户在乎的东西对不上。这是教科书级的古德哈特定律：一个指标一旦成为目标，就不再是好指标。

图兰 2016 年在斯坦福跟 Dan Jurafsky 做研究时就撞见过一回。FCC 的网络中立辩论收到 200 万条公众意见，团队用聚类和主题模型帮机构理解民意。真正难的问题跟着就来了：复制粘贴的模板信算不算合法意见？机器生成的呢？写得笨拙但真诚的呢？一旦你定义「数哪类意见」，就有人在那一类上做文章。他从那时起就在琢磨怎么越过「1 到 7 分你有多满意」这种问卷式表达，让人把真实想法说出来，哪怕说话的人自己都还没想清楚想要什么。

这些积累最后指向他给 Metaculus 定的新议程，核心全在「有用」这一侧：

- 识别通往未来状态的关键拐点，世界模型在哪个时刻开始分叉；
- 从预测者中提取「思想流派」，找到不同世界模型的分歧点，再追问哪些题能把分歧挖出来；
- 做条件预测：如果拉动这个杠杆，未来会变好多少。

条件预测不好答，多数人不习惯「如果这么做，那么概率是多少」的思考框架，所以他想配工具，用 LLM 或讨论式协作把门槛降下来。这套思路有个现成的注脚。2024 年美国大选，拜登退选。内森转述的版本是：他本来不松口，直到民调数据摆到面前，显示换人胜率明显更高，才接受现实。图兰的评价是，这件事对所有人都不算难判断，唯独对决策者本人拖了太久。**一个决策者看到概率，然后改变行动，这正是他想批量复制的东西。**

他举了个思想实验：假设你有 5000 万美元要花在让世界变好上，减微塑料、气候风险、AI 风险，选一个。钱该怎么分配？每花一笔，先让社区预测「这笔钱投下去，指标 X 会怎么变」。分歧大的地方，就是值得深挖的地方。

## AI 预测员上岗：三篇论文和一个年度锦标赛

真正让这期节目有料的是三篇论文，内森赛前全部读完，评价是「整体相当正面」。

第一篇来自 Jacob Steinhardt 的伯克利团队，《Approaching Human-Level Forecasting with Language Models》。他们搭了一套直观的流水线：检索系统联网搜最新新闻，处理后生成预测，外加微调和好的脚手架。成绩接近 Metaculus 社区预测，但还差一点。内森想知道这套系统放到人类个体里算什么百分位，图兰没给数字，给了一个他「还没有数据、但很快会有的」判断：**把这样的 bot 交到人类预测员团队手里，成绩会碾压单独任何一方。**

第二篇来自 Tetlock 和合作者，让人类预测员使用 AI 助手。实验设计里有个狠活：一组人拿到最好的助手，另一组拿到一个故意带偏差的助手。结果两组都比没有助手强，带偏差的弱一些。这篇论文还有个更深的论点：预测未来是检验语言模型泛化能力的天然考场，毕竟未来从定义上就在训练数据分布之外。

第三篇标题就叫《Wisdom of the Silicon Crowd》，还是 Tetlock 那伙人，预注册了全部实验。结论：把多个语言模型的预测做集成平均，好于单个模型，能跟人类群体掰手腕。数据里 GPT-4 明显跑赢其他模型，内森顺手提了个改进：砍掉最差的，多跑几份最强的。论文还记录了几个模型的小毛病，比如偏爱整数、偏向事件朝积极方向结算。

基于这些，Metaculus 启动了 FAB（Forecasting AI Benchmark），一个为期一年的 AI 预测锦标赛，提供免费 API 额度，每季度发奖。规则有几条值得注意：全程无人参与，模型独立作答，因为要测的就是当前技术水平；允许随时更新策略；每支队伍要贴出模型的推理文本，不计分，但能看出模型在想什么。早期关于思维链的研究早就发现，让模型写出解释，本身就能让它更稳。开赛几周已有 15 道题结算，Discord 里的策略讨论非常活跃，才三个星期，各队模型的做法已经迭代了好几轮。

## 一道麻疹题，暴露了 AI 的数学漏洞

锦标赛头几周已经出现了能说明问题的案例。

一道关于麻疹病例数的题。问 bot「病例少于 200 例的概率」，它说 75%。问「多于 300 例的概率」，它说 70%。这两句加起来 145%，留给「200 到 300 之间」的只剩 5%。可你再问中间那段，bot 报 65%。

数学上完全崩了。专业人类预测员受过训练，不会犯这种错，但连集成方法也会在这个坑里翻车，因为系统没有维护一个数学上一致的世界模型。

图兰觉得这个漏洞反而指明了方向。人类的直觉推理和数学严谨性本来就是两套东西，没受过训练的人同样会在这里出错。**出路是给语言模型装上「基于模型的推理」：让模型在吸收信息的同时，维护一个可检查、可执行约束的显式世界模型，强制满足范围敏感、否定敏感这类一致性。**他点名的工具包括概率编程语言 Squiggle 和 OpenAgency 这类架构。

他给了一个更技术的版本：预算分配问题，总预算固定，各选项之和不能超。语言模型解析不了这种约束，但如果让 LLM 把自然语言描述自动形式化成优化问题的变量和约束，用 CVXPY 这类库去算，人就不用拿 Excel 手动核对直觉概率是否自洽，直接问一句「我的概率哪里逻辑不一致」就行。

他引用了斯坦福的论文《From Word Models to World Models》，方向是让 LLM 产出一个既一致又可解释的世界表征。图兰的赌注是：**这条路不但能做出更好的预测系统，还能做出更安全、可审计的 AI。**机械可解释性的突破还不知道要等多久，一个由语言模型搭建、但机械可查的世界模型，现在就能上手检查。

## 把预测变成世界模型

图兰的下一步计划叫 Mini-Metaculus，类比 subreddit。Metaculus 即将开源，任何人可以起一个聚焦单一目标的实例：减少微塑料、给旧金山无家可归问题找出路、评估某条 AI 研究路线的后果、灾害响应。子问题被解答后向上汇总，系统据此计算哪些问题「信息价值」最高。

拿旧金山无家可归问题举例。手里多 500 万美元，是直接盖两栋房子，还是去做政策游说，让住房市场理解无家可归的负外部性？这类题就适合开一个迷你实例，每道预测都可以是条件式的，互相嵌套，再配上可视化。外部投来的题目他们会重度编辑，先保住「可结算、有意义」这条底线；开源之后，他希望更多领域专家来写题，不同实例可以试不同计分规则。

内森问了一个平台都会遇到的问题：题目多了，预测密度怎么保证？每天上新一万道题，谁来答？

图兰承认人类注意力带宽是真正的硬约束，这也正是 AI 要进场的原因。**bot 的预测可以当脚手架，帮人类更快抵达一个严谨的预测；胜利条件绝没有「AI 预测、人类围观」这一项。**聚合哲学上他也说得直白：直接抄社区预测的作业，锦标赛成绩不会差，但那是搭便车，正确姿势是先自己做功课，再看社区答案，独立信息才有价值。

他还想做「指数」：像聚合一堆股票代码得到综合指数那样，把 30 道互相呼应的题聚合成一个视图。单问「电动车在中国的渗透率窗口」太具体，30 道相关题聚在一起，才够回答「电动车对环境到底好不好」这种大问题。

至于那两道挂了很多年、几乎成了谢林点的弱 AGI 和强 AGI 时间线问题，图兰的态度是承认局限，保留成绩。内森追踪这两道题快两年，每道各有四条判定标准，预测者画的是日期概率分布。他吐槽的是弱 AGI 里那条图灵测试：要求专家审讯后分不清谁是 AI。他的看法是，让模型多说几句「我不知道」，收窄回答范围，就能大幅提高迷惑性，这道门槛卡住的是产品设计选择，跟能力关系不大。

图兰引用 Jaron Lanier 的话回应：图灵测试是把双刃剑，为了让你跟一个模拟人的对话成立，你愿意让自己的「人格感」退化到什么程度？能骗过审讯只是很低的门槛。他同意题干放到今天已经不合身，但当年这些题确实把公众对 AI 影响的讨论往前推了一把，Metaculus 甚至可以说挪动了「可讨论范围」的边界。现在要做的是加新灯，改旧题没必要。

新开的「AGI 之后五年」系列他更喜欢，因为那些答案能看出人们到底把什么算作 AGI 的关键可能性。顺带一提他在 AI Objectives Institute 时的一个梗：**如果 AGI 之后耶路撒冷还没能成为统一和平的城市，也许你的 AGI 不够有雄心。**真正配得上这个名字的系统，应该能化解人类社会内部的分歧。只会把「我不知道」说得恰到好处的系统，够不上这个标准。

## 明天就能用的三件事

聊了这么多，能带走的东西其实很具体。

- 做重大决策前，先去 Metaculus 搜一下相关问题，看社区预测和推理讨论。哪怕只是把「我觉得行」换成「社区给 65%」，决策质量都会不一样。
- 团队争论不休时，试试条件预测的框架：把「方案 A 好还是 B 好」改写成「如果选 A，一年后指标 X 会是多少」，各自写下概率分布再对答案，分歧点会自己浮出来。
- 开发者可以直接报名 FAB 锦标赛，有免费 API 额度和季度奖金，Steinhardt 团队那篇论文的流水线是公认的起点。

图兰在节目里反复讲一个底层的判断：**把一群人的判断聚合起来，哪怕每个人只是凭直觉报个数，结果也会好于大多数个体。**过去这门手艺贵在人力，现在 AI 把成本打了下来。预测未来的门槛，从来没有这么低过。