# AlexNet只用2张GPU，GPT-4传闻要2万张：卡荒、卡价和算力管制的裂缝

> Cognitive Revolution No. 47 中文精读

- 原标题：E47: GPUMaxing with Dr. Ronen Dar of Run:ai
- 发布日期：2023-07-25
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/047-e47-gpumaxing-with-dr-ronen-dar-of-run-ai-RvD1R7.html
- 精读字数：约 4051 字（阅读约 9 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2012年，多伦多大学的研究团队用2张GPU训练出AlexNet，拿下ImageNet竞赛，深度学习时代从这一刻起算。11年后，外界流传的数字是，训练GPT-4用了超过2万张GPU。

中间隔着一万倍的算力鸿沟。

这组数据出自Cognitive Revolution播客第47期。嘉宾Ronen Dar是Run:ai的联合创始人兼CTO，公司2018年在特拉维夫成立，做的事一句话能讲完：帮企业把GPU用满。客户名单里有游戏大厂索尼、金融机构、MIT这样的研究机构，还有一批在完全断网环境里干活的国防客户。有客户在AWS上一个集群就跑着几千张GPU，全靠他们的平台调度。

卡荒、卡价、算力管制，这些最近的热词，从一个每天帮人调度GPU的人嘴里讲出来，细节完全两样。

## 算力需求两次跳了一百倍

Ronen把过去11年的算力需求画成了一条台阶线。

2012年，AlexNet，2张GPU，从零训出当时最强的图像模型。2015年，ResNet出来，按他的说法，训练它已经要几百张GPU。三年，涨了100倍。

这就是Run:ai创业的起点。Ronen和合伙人当年看到的痛点很直接：**分布式训练太难，数据科学家想把模型铺到几百张卡上，要踩的坑数不过来**。目标说得很朴素，让训练大模型变成一键的事。2018年成立时大模型还没影，他们赌的是这个复杂性会一直存在。五年过去，复杂性有增无减。

然后是第二级台阶。2017到2018年，自然语言处理迎来突破，GPT-1的训练用了几百张GPU。到了GPT-4，模型闭源，外界估计是2万多张。四五年，又是100倍。

模型更大，数据更多，算力更狠。Ronen说这条曲线还没到头，大量企业正琢磨怎么把大模型能力搬进自己的组织，需求端看不到刹车。

## 把HPC的老手艺搬进Kubernetes

Run:ai的平台分两层，每一层对着一种具体的浪费。

第一层贴着GPU本身。他们坐在CUDA层，拦截CUDA调用，控制每张卡的访问权。有了这层，**一张GPU能切成几份，让多个任务共享**，还能在CPU内存和GPU显存之间倒腾数据。一张卡不再被一个任务独占着空转。

第二层是调度。Ronen点名了一个行业惯性：Kubernetes是今天云上的标配，可它当年是为跑在普通CPU上的微服务设计的。AI任务又重又长，还带着大量试错，两码事。

他们的解法有点复古，把高性能计算（HPC）和Hadoop生态里YARN调度器的老本事搬进Kubernetes：批调度、任务抢占、排队、Gang调度。YARN是十年前为Spark设计的调度器，很多能力今天的Kubernetes照样没有。

效果是每个团队拿到一份保底配额，配额之外还能弹性借卡。

> 团队先拿到一份有保障的GPU配额，但配额不封顶。集群里只要有空闲的卡，他们随时可以往上加，多跑任务。

Ronen说，客户的GPU利用率普遍翻倍，甚至更多。利用率上去了，卡的可用性也上去了，工程师想要卡的时候，卡真的在那儿。

还有一笔时间账。没有平台帮忙，**数据科学家90%的时间耗在装库、配驱动、调环境这些杂事上**，真正跑实验的时间反而少。想把一个实验从1张卡扩到100张卡，或者并行跑几十个实验，没有工具基本寸步难行。

部署形态走混合路线：本地机房、任意云、任意Kubernetes发行版，一套平台一个界面。Ronen特意强调开放，实验追踪这类生态工具都能接，因为这个领域新工具冒出来的速度太快，把自己关起来等于自杀。

主持人Nathan拿他们和Mosaic ML对比，录制前几天Mosaic ML刚宣布被Databricks以13亿美元收购。Ronen的回答：Mosaic晚了两年半成立，all in生成式AI和大模型；Run:ai更通用，而且是从GPU硬件层往上长出来的，对卡的脾气知根知底。

## 卡荒、卡价和买卡的四道选择题

ChatGPT发布后的半年，GPU需求曲线近乎垂直起飞。

Ronen给的细节：微软在ChatGPT发布后几个月里就加购了一万张GPU，所有云厂商一起涌向英伟达加单。软件需求暴涨，厂商可以加班顶上去；GPU要多造，就得多建产线、多装机器，产能爬坡以年计。供需之间的缺口，只能靠时间填。

这次荒还有一个新变量：**推理需求第一次大规模爆发**。以前聊算力都在聊训练，现在几百亿参数的大模型连一张卡的显存都装不下，线上每服务一个模型实例，就要占4张、8张甚至更多卡。微软要同时养OpenAI和GitHub Copilot，推理卡的消耗是天文数字。

想加卡有多难，他举了个例子：去找AWS的客户经理，申请把GPU实例额度从几十张提到几百张，对面会反复盘问一堆问题。所以大企业的主流做法是直接买断和预留，小公司才用按需付费。

至于卡荒什么时候结束，Ronen的判断分两半：这一次会等产能爬上来，慢慢缓解，很多公司现在还在排队；但**GPU荒不会是最后一次**。AI创新的速度远快于硬件迭代的速度，需求一次次冲过供给，荒就会一次次重来。

如果你明天真要去搞一批卡，Ronen把决策拆成四道题。

- 自建还是上云。自建含托管机房，云含AWS、Azure、Google，还有Lambda、CoreWeave这类新型GPU云。
- 找谁买。英伟达直销，或者走分销商。
- 选什么卡。最新的H100，还是性价比路线的A100。
- 存储和网络怎么配。小规模实验网络可以省，**多机多卡训练时，GPU之间的互联就是性能命门**。

价格是这期最干货的段落之一。AWS上8卡A100整机大约30到40美元一小时。H100更贵，录制时AWS还没上，Azure等几家已经有了。但Ronen提醒别只看单价：H100贵一倍左右，按英伟达的基准测试，性能提升可以到几倍，具体看负载。**贵一倍、快四倍，摊到每个实验上反而更便宜**。走自建路线，一台DGX整机几十万美元。

单卡市场价，Nathan查到的数字：A100在亚马逊上标价约7000美元，H100的头条价4万美元。Ronen说后者更像转售价，多数买家付不到那个数。

真正让两人都愣住的是Lambda Labs的报价：A100每小时1.1美元，AWS大约4美元，差了4倍。Nathan问这怎么做到的、能不能持续，Ronen的回答相当诚实：

> 我不知道，我真的不知道。我同意，差距太大了，这是个值得追问的好问题。

更离谱的是，Lambda的H100每小时2美元，只有AWS上A100价格的一半。

## 英伟达的87%和挑战者们

聊到芯片格局，Ronen先报了一个数：英伟达大约占87%的市场。

护城河在哪？他的答案很明确，**是CUDA撑起来的整个软件生态**。库、框架、工具一整套，新的AI工作负载第一天就能在英伟达的卡上跑起来。别的芯片经常是硬件不错，软件难用。英伟达还习惯提前两三年备货：大显存的卡、新的企业级软件服务，赌的就是市场接下来要跑大模型，而市场确实在往那走。

挑战者的名单也不短。

- 云厂商自研。Google的TPU对外卖了五年多，AWS有自己的芯片，两家都把大量芯片设计放在以色列。
- AMD。游戏卡的基本盘扎实，技术底子好，Ronen已经有客户在AWS上跑AMD相关的工作负载。
- 高通和三星。Ronen特意补了一句，别小看他们，手机和边缘推理是会持续增长的市场。
- Cerebras。做了史上最大的芯片，路线独特，Ronen的评价是产品很惊艳，这个市场大到连小玩家都能吃下巨额收入。
- 英特尔。自有工厂转做代工，AI芯片团队也在以色列。

顺带一提以色列在这个产业里的位子：英伟达买下了以色列网络芯片公司Mellanox，英特尔的AI芯片团队来自对Habana Labs的收购。Ronen的原话是，以色列工程师硬件软件都强。

至于谁会成为第二个英伟达，Ronen没下注，只说这是接下来最值得看的事。

## 用断供管AI，管得住吗

话题最后落到地缘政治。Ronen先讲了个叙事反转：两三年前，舆论都说中国论文多、创新猛，美国要落后了。结果过去一年，硅谷用ChatGPT把整个叙事翻了过来。他现在的判断是，中国落后于美国，但**技术差距收窄得很快，快到没人敢预测六个月后的事**。

从以色列看出去，画面又不一样。Ronen说，以色列眼里的头号威胁是伊朗，而伊朗站在中国一边，所以在美国的芯片战略里，以色列和美国看得齐齐整整。AI正在变成军备竞赛，芯片是战略资源，未来几十年的政治格局会因此改写。

Nathan提了一个更尖锐的担忧：切断中国购买先进芯片的通道，可能让冲突的门槛变得更低。出口管制之下，中国买不到H100，只能买阉割版的H800，买不到的卡，会不会变成去抢的理由，比如对台湾。

再往深一层，就是AI安全圈热议的算力管制（compute governance）：能不能靠管住GPU的买卖，管住AI发展的速度。Nathan提到有人设想给GPU也搞一套实名登记和购买许可，买到一定数量就得持证。Ronen的答案泼了盆冷水。训练最前沿的模型确实需要海量算力，可开源模型把这条路挖松了。Llama 2就在录制前几天刚开源，研究和商用都免费。

> 既然能力这么强的模型已经开源，大家拿去用自己的数据微调，根本不需要多少算力，那控制算力访问这条路，意义就打了折扣。

他没有给出确定结论，只说这是个复杂问题。一个天天帮企业调度GPU的人，对"管住算力就能管住AI"持保留态度，这个态度本身就是信息。

## 明天就能用上的几件事

把这一期拆成行动清单，大概是这样：

- 买卡之前先盘利用率。很多企业的卡大量时间在空转，先上调度和虚拟化把利用率翻一倍，可能等于白捡一批卡，比加购便宜得多。
- 按工作负载算单价，别按小时价。H100贵一倍但快几倍，算每小时完成的实验数，很可能反而划算。
- 比价别只看三大云。Lambda这类新型GPU云的A100价格只有大厂的零头，H100只要2美元一小时，采购前值得拉个清单。
- 多机训练把网络预算留足，GPU互联的性能直接决定训练速度。
- 能微调就别从头训。Llama 2这类开源模型加自己的数据，几张卡就能起步，这也是算力管制挡不住的路。

卡荒会过去，下一次还会来。在那之前，把手里每一张卡用满，是普通人离这场算力战争最近、也最划算的参与方式。