1.49美元租一小时H200，10B模型跨三大洲训练：去中心化AI的四步总计划

2025年1月下旬，OpenAI、软银和甲骨文在白宫宣布「星际之门」计划，四年5000亿美元，砸向集中式的超级数据中心。2月5日上线的《Cognitive Revolution》单集里，一家叫 Prime Intellect 的创业公司给出了另一个数字：任何人打开它的网站，花1.49美元，就能租一块 H200 显卡用一小时。

一边是圈地五千亿美元的园区，一边是1.49美元一小时的零售算力。创始人 Vincent Weisser 和 Johannes Hagemann 想证明，后一条路也能训出大模型，而且这条路没人能一键关掉。他们的使命写在单集标题里：让智能「便宜到不值得计量」。这句话最早是1954年美国原子能委员会主席对核电的承诺，后来成了永远没兑现的梗。这两位想让它第二次成真。

主持人 Nathan Labenz 是创业者和 AI 投资人，他说自己为「分布式训练」这个话题找合适的嘉宾找了很久。这两位的特别之处在于，他们有一份写清楚的总计划，而且每一步都已经交出了东西。

计划分四步。第一步，建全球算力交易市场。第二步，做分布式训练的软件框架，2024年11月发布的 INTELLECT-1 已经证明，100亿参数的模型可以横跨三大洲、用散落在各国的算力训练出来。第三步，训练高影响力的科学模型，代表作叫 Metagene-1，做疫情早期监测。第四步，发出去中心化协议，让全世界的算力贡献者集体拥有 AI 模型。

公司注册在特拉华，是个正常的 C 型公司，但两位创始人更愿意拿以太坊打比方：建基金会、发资助、代码全开源，任何人可以 fork、改进、贡献回去，未来还能在上面创建自己的智能体去赚钱。Vincent 有一句话被剪进了节目开头：

执行是廉价的，想法值一切。这几乎把现在的现实倒过来了。

他对超级智能的判断是：未来十年内大概率实现，超级人类水平的编程和数学会先到；自动驾驶那种95%可靠度毫无用处的领域会慢得多，一个1%的时间会搞砸你全部本金的投资智能体，同样没法上线。他从《超级智能》出版那年就在追这条叙事线，最近又推荐了博斯特罗姆的《深度乌托邦》，讲问题全被解决之后，人从哪里找意义。他唯一看到的十年期瓶颈是计算不可约性：不是所有问题都能模拟，治所有疾病比写代码难得多。

那普通人到时候干什么？Nathan 追问了一个尖锐的细节：如果真有超级智能，连比尔·盖茨是不是都该退休？Vincent 提到盖茨和 Sam Altman 的一次对谈，盖茨自己也在纠结，消灭疟疾这件事如果整个交给 AI，人生意义从哪来。Vincent 的答案是，最好的创始人本来就会组建一个每个维度都比自己强的团队，执行变廉价之后，想法值钱，世界上会出现几十亿家创业公司。人类站在一个由 AI 组成的巨型劳动力大军顶端，负责指挥方向。至于日常劳动，人类会溢价：人们还是会去餐厅、去剧院，带孩子这事也会优先找信任的人，机器人排不上号。他认识的大多数财务自由的人并没有停止工作，AGI 之后大概也不会。

算力市场：一年前一卡难求，现在按需随租

先看第一步做成了什么样。一年多前，H100 严重缺货，出价高的巨头优先拿卡。创业公司想训模型，得签一两年的长约、一次性付几亿美元，才能锁定一千张卡，按需租用根本不存在。

现在情况反过来了。产能追上来，英伟达新一代 Blackwell 开始铺货，市场上出现几百家云、几千个数据中心。不少当年抢长约的创业公司用不完卡，把资源挂回市场转卖。Vincent 说，如今按需租一千张 H100，这在半年前还做不到。

他们的定位，Vincent 打了个比方：

我们更像 Airbnb，一个坐在其他市场之上的市场。

别的平台是孤岛，他们想当连接所有岛屿的海洋。从超大规模云到单个数据中心，从买了太多卡的亿万富翁到用不完额度的创业公司，什么供给他们都接。很多客户甚至自己写 API 去查询各家云的 GPU 库存，这些杂活正是 Prime Intellect 替用户省掉的。

市场为什么这么碎？因为英伟达最大的客户谷歌、亚马逊都在自研芯片跟它正面竞争，它必须给 Lambda Labs、CoreWeave 这类中小云留足配额，养一批利益一致的买家。供给被摊在几百个数据中心里，用户想知道「此刻哪里有200张空着的 H100」，就得靠聚合层。

CoreWeave 那种模式，Vincent 称之为结构化金融产品：借几十亿美元买卡，再拿显卡做抵押。Prime Intellect 自己一张卡都不买，只做撮合。需求侧也没降温，他数得出过去一两年新冒出来的 AGI 实验室至少四家，视频生成、推理模型、编程智能体都在吃算力，他判断算力支出会在通往 AGI 的路上长成 GDP 里最大的板块之一。

参与门槛也有讲究：做分布式训练，至少要整节点的 A100 或 H100，训练对显存的要求远高于推理；合成数据生成这类任务宽松得多，未来连家里的 MacBook 都可能派上用场。

比起AI失控，他们更怕权力集中

Nathan 问了那个绕不开的问题：p(doom)，毁灭概率，你们信多少？他自己的答案是5%到95%，意思是没人能说服他彻底放心，也没人能说服他躺平等死。

Vincent 的回应很直接：这个概念本身就有毒。他见过太多人报出20%的毁灭概率，追问推理链条，答案是「因为某某大佬也是这个数」。他真正担心的事情很具体：

最大的风险，是超级智能被少数民族国家和科技巨头完全集中，把大部分人类排除在游戏之外。其次是善意的监管者在无意间造出最坏结果。他说自己认识一些当年推动重大 AI 政策的人，如今在后悔，将来会更公开地讲出来。

欧盟人工智能法案被他批得很狠：对巨头几乎没有影响，对小团队全是负担，欧洲的 AI 社区本来就没喘上几口气，现在没了。两位创始人都是因此离开欧洲的。加州的 SB 1047，Nathan 自己的态度摇摆过，最终版本要求前沿模型公司提交并公开安全计划、接受审查，他觉得已经相当克制，Vincent 还是把它和欧盟法案并列为最典型的两个反面案例。

监管算力这条路，Vincent 引用物理学家 David Deutsch 的说法：这跟监管代码或数学一样，既天真又危险。比特币已经演示过一遍剧本：中国禁止挖矿，算力迁往美国、冰岛、非洲，永远流向监管最松、电最便宜的地方。AI 算力正在重演，马来西亚和新加坡的数据中心正在爆发。

Nathan 又把「万亿数据中心好不好管控」抛给了他们。Johannes 的回答是，连星际之门都不会是单一集群，能源约束摆在那里，未来几年只会有一批500兆瓦级的集群，10吉瓦的单一园区建不出来；巨头们也已经在研究跨数据中心训练，只是他们有40G到100G的专线互联，公网玩家没有这个条件。

关于开源和闭源，Vincent 的立场有点反主流：他主张闭源模型该接受比开源更严的审查。开源的代码人人可查、可测试，互联网和区块链的基石都是这么变安全的；闭源黑箱只给一个 API 端点，反而让人不放心。Nathan 用个类比总结了自己的立场：任何东西浓缩到极致都危险，树叶里的东西没事，提纯到100%再去吸就出事。他认同「所有人同时上升、互相制衡」的图景，但也承认，自己想不出 AI 同时改变一切时，社会靠什么维持稳定均衡。

二三十万美元，做一个「造不出病毒」的防疫模型

整期节目里 Nathan 夸得最狠的项目是 Metagene-1。Prime Intellect 和核酸观测台（Nucleic Acid Observatory，一家做废水监测的非营利机构）、SecureBio 合作，用大约二三十万美元的算力，训了一个废水基因组基础模型，用于疫情的早期监测。当年新冠最早的信号，正是从废水里测出来的。

设计上最妙的一点：模型的上下文窗口只有512个 token。任何病毒基因组都远超这个长度，所以它从架构上就生成不了完整病原体。它能做的事只有一件：读一段废水样本的序列，判断有没有异常。

防御能力直接焊死在架构里，想滥用都找不到入口。Nathan 管这叫「单方面提供全球公共品」：需要它的人得到一切，想拿它干坏事的人什么都得不到。Vincent 说，这类「低误用风险、高上行空间」的模型严重供给不足，AlphaFold 是同类，哪怕按最功利的收益风险比来算，也该多做。

他们把这套思路叫差异化加速防御：让好人的技术跑得比坏人快。具体到生物安全，就是让检测、监测、疫苗先到位，下一场疫情来了也掀不起大浪。后续计划还包括把病原体监测铺到更多采样点，以及虚拟细胞基础模型、自主科学家系统。Vincent 顺带给了一个尖锐判断：新冠大概率源于国家级实验室的功能增强研究出的事故，人类社会缺的从来是抗体。

分布式训练到底卡在哪

节目后半段是技术干货，Johannes 铺开讲了分布式训练的难点。训练大模型有三种并行策略：

• 数据并行：每张卡拿一份完整模型，各算各的数据，最后同步梯度，通信量最小；
• 张量并行：把模型权重切开，每一层都要通信，带宽要求最高；
• 流水线并行：模型按层分段，段与段之间传激活值，开销居中。

数据并行的麻烦在于，梯度和模型一样大。一个1000亿参数的模型，每训练一步，每个节点都要交出1000亿个数字去汇总。在数据中心里，卡与卡之间有高速互联；跨大洲，就只剩公网了。显存是另一道坎，训练比推理吃显存得多，参数、梯度之外还要存优化器状态，包括全精度副本、动量和方差。INTELLECT-1 那次，单节点塞满也只能装下100亿参数的模型。

破局的关键叫 DiLoCo，DeepMind 提出的方法，核心就一句话：各节点本地连续训练几百步，再同步一次。同步的东西叫伪梯度，它是训练前后两份权重的差值，不是真正的梯度，而且特别适合压缩。DeepMind 最早在4亿参数规模上验证，Prime Intellect 先推到10亿，再用 INTELLECT-1 推到100亿。Johannes 强调，这至今是个经验结果，没人从理论上证明它为什么行。

压缩的具体账目：伪梯度用8位精度代替32位发送，省4倍；每100步才同步一次，再省100倍，总通信量降到四百分之一。就靠这笔账，他们用公网把100亿参数的模型训完了。

有个反直觉的细节：DiLoCo 在训练初期表现偏差，后期才追平普通数据并行。Johannes 解释，初期所有节点的梯度都指向同一个方向，合并没什么信息量；到了后期损失面变平，各节点学到的差异才有合并的价值。

剩下的坑还有三个。1000亿参数模型的通信量还是太大，他们在做梯度量化和误差修正。参与门槛卡在 A100 和 H100 节点上。worker 数量有上限，16个 worker 验证没问题，真要大规模去中心化得扩到成百上千个，worker 太多，各自往不同方向过拟合，伪梯度信号会被噪声淹没。

博客里还提了 SWARM 并行，论文作者 Max Ryabinin 现在在 Together AI，思路是把流水线并行也搬上公网，只需同步激活值。但延迟是杀手，数据并行100毫秒的延迟无所谓，流水线并行要频繁传小张量，延迟直接吃掉效率。更麻烦的是，推理时代的序列长度越拉越长，o1 那类模型要百万级 token，流水线要传的激活值跟着序列长度暴涨，这条路会越走越窄。眼下更实用的方向，是把优化器状态卸载到 CPU 内存，单节点 H100 就能把模型训进千亿参数区间。

顺带聊了一个诱人的想法：混合专家模型能不能按领域路由，把「病毒学专家」整体隔离出来，开源版直接不带病毒学模块。DeepSeek V3 总参数6710亿，每次前向只激活370亿，约占6%，听起来很有操作空间。Johannes 不看好：实验里专家学到的是人类看不懂的路由方式，人为加上领域偏置，效率反而更低。Nathan 觉得可惜，那本来是个优雅的安全方案。

强化学习时代，天平倒向去中心化

Vincent 给出了一个关键判断：R1 式强化学习恰好是对分布式训练最友好的范式。预训练阶段每个 token 都要反向传播，RL 训练是先采样大量 rollout，只对特别好和特别差的样本做更新。一道题采样上百条，Johannes 说，可能是几分钟甚至几小时的前向计算，才对应一次反向传播。通信需求断崖式下降，而生成合成推理数据，用 H100 和 H200 节点就能干，小模型蒸馏后也能参与。

还有个附带好处：RL 的思维链是可读文本，能审查，能往里加安全检查。当然也没那么美，它偶尔会突然用中文推理，蹦出人类看不懂的片段。Nathan 补充了一个工程细节：题目难度要校准，太难的话采样一千次才对一次，强化信号就太稀，DeepSeek 和 Kimi 的论文里都有自动调难度的算法。

录制几天后，Google 发了 Streaming DiLoCo 论文，说明这条路还没撞到根本性的天花板。Jack Clark 在他的通讯 Import AI 里写下了那个判断：我们可能很快进入一个「模型在看不见的全球算力之海中被持续训练」的世界。

Nathan 的保留意见也值得记下：开源的东西收不回来。R1 的蒸馏实验已经证明，中等规模的开源模型可以被后训练大幅解锁，如果哪天某个更强大的开源模型出了问题，社会没有任何召回手段。这是去中心化路线至今没有回答好的问题。

明天就能用的四件事

需要 GPU 的人，先去聚合市场比价再谈长约。一年前 H100 一卡难求，现在一千张按需可租，H200 每小时1.49美元。长约是上一轮稀缺时代的产物，签之前值得三思。

手里有闲置 A100 或 H100 的，可以挂到算力市场，或直接参与分布式训练网络换收益。

想跟进技术的，按这个顺序读：DiLoCo 论文、Prime Intellect 那篇发布九个月仍被 Nathan 称赞值得读的分布式训练博客、INTELLECT-1 报告、Streaming DiLoCo。

做 AI 应用的创业者，Metagene-1 指出了一个方向：几十万美元的算力，就能换一个全球公共品。防御优先的开源模型，是拥挤赛道之外的空地。

两条路线的竞赛刚开始。星际之门的钱已经到位，1.49美元一小时的卡也挂上了货架，接下来几年会给出答案。