GPT-5 要吃 100 万亿 token，全人类的数据库存够吗？

训练 GPT-3 用了大约 1 万亿 token，GPT-4 用了大约 10 万亿。按这条曲线外推，GPT-5 需要 100 万亿 token，算力预算从几千万美元量级跳到 10 亿美元以上。

钱先放一边，一个更根本的问题摆在眼前：地球上的数据，够喂吗？

Cognitive Revolution 2024 年 4 月的这期节目，就干了这么一件事。主持人 Nathan Labenz 是创业者兼 AI 投资人，这次请来 Nick Gannon，一个白天做数据科学家、业余时间当「AI 侦察兵」的独立研究者。他把人类数得出来的数据源挨个盘了一遍：邮件、推特、YouTube、基因组、天文观测、气象、人口普查、代码，连 ChatGPT 自己吐出来的字都算上了。主持人自己说，这是实验性的一期，全程做数量级计算，目的是帮听众把 AI 世界观锚定在现实区间上。

结论先放在这里：短期看数据管够，富余得离谱；要走到万亿美元级的训练，高质量文本大概率不够，缺口得靠合成数据来补。

三个实验室押的是同一个假设

Nick 开场先泼了盆冷水。大多数人对 AI 进展的判断，靠的是汇总人群情绪，从事实出发推演的很少，他自己承认也常犯这个毛病。把 AI 当成一个看多看空、估值高低的指数，结果就是脑子里塞满了别人的观点，没有事实。

他要用的框架很简单。OpenAI、DeepMind、Anthropic 三家的战略，底层是同一个「智能扩展假设」，两条前提：

• 脑子越大，越聪明；
• 生物神经元和人工神经元功能对等，智能不挑基底，碳基硅基都行。

两条都成立，人类水平的 AI 就是个工程问题，难，但可做。Nathan 补充了一个观察：Sam Altman、Greg Brockman、Ilya Sutskever、Demis Hassabis、Shane Legg、Dario Amodei，这串名字里没有一个把「数据不够」当成根本障碍，被问到都是一句「别担心，我们有办法」。

OpenAI 有位专门搭建大规模分布式集群的工程师，说过一句很有代表性的话：

越来越清楚的一件事是，这些模型本质上就是在逼近它们的数据集。只要在同一个数据集上训练足够久，任何参数量够、训练时间够的模型，最终都会收敛到同一个点。

这是扩展假设最激进的读法。数据质量和算法架构的进步，本质上都在降低达到同一水平所需的规模。省下来的是算力，也是数据。

从 GPT-3 到 GPT-5，账怎么算

先定锚点。GPT-3 的训练集约 1 万亿 token，折合 600 GB 文本。GPT-4 按研究机构 SemiAnalysis 的估计，是个 16 专家的混合专家模型，每个专家 1110 亿参数，总共约 1.8 万亿参数，另用约 2 万亿图像 token 训了视觉部分，文本 token 约 10 万亿，对应 10^24 到 10^25 FLOPs 的算力。

GPT-5 的外推从这里出发。算力预算每代涨约 100 倍，GPT-4 的预训练成本估计在几千万美元量级，涨 100 倍就是 10 亿到几十亿美元。顺带一提，MosaicML 曾宣称 50 万美元以内就能从零复现 GPT-3，而多数估计把 GPT-3 的实际成本放在 500 万美元左右，GPT-4 在 5000 万到 1 亿美元之间。按 Chinchilla 缩放律，参数涨 10 倍、数据涨 10 倍，算力正好涨 100 倍，所以 GPT-5 的数据需求落在 100 万亿 token，也就是 10^14。

三个修正变量得记着。

第一，Chinchilla 最优已经过时。现在的模型普遍「过训练」，Llama 2 的 70 亿参数版本喂了 2 万亿 token，远超最优比例，图的是推理便宜。预算可以不均着分，参数涨 20 倍、数据涨 5 倍，也行。

第二，长上下文。GPT-5 大概率用上 ring attention 这类机制，把上下文窗口推到百万甚至上亿 token，Gemini 1.5 和 Claude Opus 的超长召回被猜测就是这么做的。代价不小：一个万亿参数模型，上下文从 4K 拉到 100 万 token，算力要多花 5.6 倍。好处是每批数据量大增，权重更新次数变少，数据需求反而有下降的压力。

第三，混合专家架构。GPT-4 的 1.8 万亿参数，每次前向传播大约只激活 2700 亿，像一家 1.8 万人的公司每次只派 2700 人出门干活，车马费省了。但天下没有免费午餐，MoE 的缩放律斜率要缓一些，同样的数据量，学到的东西打点折扣。

Nick 插了句题外话：这些算法进展值钱到什么程度？有人跑去 DeepMind 开口要 1000 万美元，只求 DeepMind 比别人早几个月拿到这个秘密，这笔钱大概率给得出。学术界把这些方法公开出来，实在值得庆幸。

盘库存：数据比想象的多得多

目标定在 10^14 token，开始数家底。

2020 年，人类创建和复制的数据总量约 64 泽字节（ZB，10^21 字节），量级在 10^22 字节。和目标一比，差 8 个数量级，好比问太平洋的水够不够烧一壶茶。只需要全人类数据里的亿分之一是高质量文本，GPT-5 就喂饱了。而且全球数据量大约每 3 年翻一番，过去 3 年产生的数据占了有史以来的一半。

分领域看。邮件，每天上千亿封，按每封 300 token、一年 300 天算，全年 10^16 到 10^17 token，千里挑一的质量就够 GPT-5 用了。当然，邮件锁在别人的系统里。OpenAI 有支公开的数据采购团队，到处找政府和企业谈合作，因为这些都锁着，谁知道在哪、怎么接、要付多少钱。

推特，每天约 10 亿条，全年折 3×10^13 token，约等于 3 个 GPT-4 的训练量，能填 GPT-5 缺口的三分之一。邮件和推特的体量差着几百倍，数据的分布有多不均，可见一斑。

YouTube，每年新增约 5 亿小时视频，原始数据 1 到 2 艾字节（EB，10^18 字节）。像素转 token 有折扣，GPT-4V 一张低分辨率图按 85 个 token 计费，压缩比约 1000 比 1。照这个比例，YouTube 一年的上传量折 10^15 token，是 GPT-5 需求的 10 倍。真要全训一遍，按缩放律得烧上千亿美元，这个数字刚好在全球科技巨头几张资产负债表的射程之内。换个算法，YouTube 里十分之一的 token 是「好的」，就够了。

天文数据每年也是 1 到 2 艾字节，哈勃和韦布望远镜在拼命产出，大型强子对撞机也在狂吐数据。有篇论文的标题起得好，《Big Data: Astronomical or Genomical?》，天文和基因组到底谁的数据更大，答案是都大。基因组每年 40 艾字节，每两年翻一番，绝大部分躺在库里没人用。

Nathan 拿 Arc Institute 和斯坦福团队刚发布的 EVO 模型举例：一个 70 亿参数的生命科学模型，训练集是 270 万个公开的原核生物和噬菌体基因组，折 3000 亿 token。GPT-4 当年加视觉用了 2 万亿图像 token。照这个基准，给模型加一个「DNA 模态」，数据完全够。他的设想更远：把 DNA 序列、蛋白质组、调控 RNA、健康结局、医学影像交错着喂进去，可能造出一个「母语是生物学」的系统。人类没人能母语读 DNA，模型也没有这个直觉包袱。

气象领域的世界数据中心，存着约 600 个 GPT-4 训练集的量。DeepMind 的气象模型能提前 10 天预测数百个天气变量，精度 0.25 度，一分钟算完。数据来源是卫星、飞机、船舶、浮标、雷达、探空气球，全球基础设施一起采，采了 37 年。美国人口普查局的数据也有几百个 GPT-4 的量。苹果 Vision Pro 被点名为一台了不起的数据采集机器。金融业更不用说，文艺复兴科技掌门人 Peter Brown 据称是深度学习先驱辛顿的第一位博士生，公司囤着大批 H100 芯片，大奖章基金年化约 37%，持续了几十年。

还有互联网本体。谷歌索引的网页约 500 亿个，未被索引的部分估计是索引量的 25 倍到 2000 倍。想找一条多年前的推文，搜不到，但它确实存在。Nick 打了个比方，这就像问不可观测宇宙有多大：肯定比可见的大，大多少，没人算得清。

代码，Hugging Face 上的 The Stack 数据集去重后 3 TB，约等于 GPT-4 训练量的三成、GPT-5 目标的 3%。代码这个领域有个特殊属性：可以无限生成。

最后是合成数据。按 2500 万日活、每人每天 15 次提问、每次回复 1000 token 估算，ChatGPT 生成的文本量级在 10 万亿到 45 万亿 token 之间，够再训几个 GPT-4。ChatGPT 累计生成的文本已经超过它自己的训练集，正在逼近 GPT-5 的需求量。Nick 说，每次问到数据够不够，AI 研究员都会露出一丝狡黠的笑，说别担心，搞定了。那个「办法」，很可能就是合成数据。

熊市案例：质量这道坎

多头讲完，空头登场。

研究机构 Epoch AI 有篇论文，标题就叫《我们会用完数据吗》。结论：高质量公开文本的库存约 10 万亿词，和 GPT-4 的训练集一个量级，2024 到 2026 年间就会用尽。这里的「高质量」指书籍、新闻、科学论文、维基百科、过滤后的网页内容。

这个数有个朴素的校验法。美国国会图书馆的全部藏书，折算约 10 万亿词、10 TB 文本。拿它当标尺，能进国会图书馆书架的才算高质量，10 万亿这个量级听起来就合理。

于是局面变成：总量管够，高质量文本的池子却只有 GPT-4 那么大。GPT-5 要 10 倍，还能靠多模态、私有数据、合成数据凑。再往上呢？

Nick 把天花板推到了极致。投资人 Carl Shulman 有个说法，人类能承受的最大单次训练约 1 万亿美元，占全球 GDP 的 1%。冷战时期阿波罗计划的花费约占美国 GDP 的 2.2%，先例在。苹果年收入接近 4000 亿美元，国防部年度预算约 8000 亿，量级都摆在那。用 Nick 的话说，1 万亿美元约等于 30 艘航母，或者 10 个国际空间站。Sam Altman 被曝去中东聊 7 万亿美元的芯片融资，虽然停留在传闻层面，但他早在 2015 年就和国防部长谈过 AI 与算力在国家安全中的角色。Nick 的判断很直白：真要执行万亿美元级训练，全世界能办成的只有两个国家，美国和中国。

按三条趋势线推，万亿美元训练会出现在 2029 到 2033 年之间：最贵训练的成本大约每两年涨一个数量级；摩尔定律的魂还在，每秒运算数持续加速；算法进步让「有效算力」每 9 个月翻一番，达到同样测试分数所需的浮点运算数，每 9 个月砍一半。

这么一次训练需要多少数据？约 10^17 token，是 GPT-4 的 8500 倍。有个参照特别扎眼：人类大脑每秒处理约 1100 万比特，一辈子（按 70 年算）累计 2 到 3 个 PB，折算下来约为 GPT-4 训练集的 200 到 300 倍。万亿美元训练的数据需求，是一个人一生大脑处理量的三四十倍。Nick 的推论是，如果智能真是一场数据游戏，那当训练数据逼近大脑一生处理量时，出现人类水平的认知能力，就说得通了。

10^17 token，占 2020 年全球数据总量的 0.00013%。听起来又是「亿分之一」式的宽裕。可高质量文本的库存只有 10^13，缺口是四个数量级。Nathan 算了一笔账：万亿美元预算里，参数涨 10 倍、数据涨 100 倍，能到 10^16，再靠算力变便宜凑出最后一个数量级。10^16 也许够得着，10^17 就悬了。数据总量从来都是伪问题，高质量占比才是真问题。

出路：让模型自己出题

缺口怎么补？Nick 押的是自我博弈。

DeepMind 的 Alpha 系列，AlphaGo、AlphaZero、AlphaGeometry，是仅有的几个真正做出超人表现的系统，配方都一样：价值网络加蒙特卡洛树搜索，自我博弈，更新，再自我博弈。任何能打 Elo 分的东西，棋类、几何证明，都能套进这个架构。

如果目标是造出超人表现的系统，大部分人类生成的数据都得扔进垃圾桶，从头开始。

推理这块，OpenAI 的 Noam Brown 做的正是「推理时搜索」：让模型多想一会儿，效果近似一个参数量大一万倍的网络。想不动参数，就动思考时间。

代码是合成数据最好的田地，因为对错可以自动验证。Nathan 提了个问题：GPT-5 能不能出一道连 GPT-5 自己都解不出的编程题？出题比解题容易，模型生成难题、自己跑一遍验证、把做对的留下当教材，这个循环看起来几乎必然能转起来。

自我改进的循环此前没转过。GPT-3.5 时代，自我批评经常越改越差；GPT-4 能变好，但三五轮就到平台期，因为那几轮没有重新训练。一旦把训练接进循环，事情就变了。Nathan 说，Claude 3 的质量让他改变了对这种「精炼流程」可行性的判断，让 AI 自我批评一路滚到失控，他仍然不舒服，但那个陀螺确实转得越来越紧。

整期节目收在这么一个框架上：多头说数据到处都是，空头说通往 10^17 没有明路。于是真正的问题变成，能不能设计出合适的课程表，让模型在合适的时机「开窍」，把自我博弈的超人能力提前引爆。

明天就能用的三笔账

这期节目信息密度大，留下的是可以随身带的工具。

• 记三组锚点数字。token 量级：GPT-3 是 10^12，GPT-4 是 10^13，GPT-5 约 10^14；成本量级：500 万美元、5000 万到 1 亿美元、10 亿美元以上；库存量级：高质量公开文本约 10^13，2026 年前后见底。白宫已经把 10^26 FLOPs 设为训练报告门槛，认真跟踪 AI 的人都该攒自己的参照数。
• 看到新闻先做量级心算。新数据集发布，问一句：折成 token 够训几个 GPT-4？新融资到账，问一句：够几次 GPT-4 级训练？量级对不上，故事先存疑。
• 盯住可验证领域。代码、数学、几何，凡是对错能自动判定的领域，都是模型自己造数据的主战场。这些领域的进展速度，比任何关于「数据耗尽」的争论更能预示下一个台阶。

Nick 那句开场白值得贴在显示器边上：别把 AI 缩成一个看多看空的指数。把世界观锚在量级上，锚在事实清单上，别人的情绪就带不动你的判断。