# 2.5万亿晶体管塞进一片芯片：Cerebras创始人讲AI算力的另一条路

> Cognitive Revolution No. 29 中文精读

- 原标题：E29: The AI Chip Revolution with Andrew Feldman of Cerebras
- 发布日期：2023-05-25
- 主持：Nathan Labenz
- 网页版：https://cogrev.1mmt.com/ep/029-e29-the-ai-chip-revolution-with-andrew-feldman-of-cerebras-JjQkNz.html
- 精读字数：约 5168 字（阅读约 11 分钟）

> 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

2023年5月，英伟达市值冲上7500亿美元，当年头几个月就翻了一倍还多。业界流传的数字更夸张：GPT-4训练一次据说烧掉1亿美元往上，下一代模型可能按十亿美元计价。算法、数据、算力，AI三要素里，Cognitive Revolution前两样聊了很多，算力还是头一回。主持人Nathan Labenz请来的嘉宾，是Cerebras Systems的CEO安德鲁·菲尔德曼（Andrew Feldman），他们造出了人类历史上最大的一块芯片：2.5万亿个晶体管，85万个计算核心，面积是英伟达A100的56倍。

菲尔德曼是芯片行业老兵，这是他第五次创业，公司2015年底成立，如今名字进了计算机历史博物馆。这期节目从芯片怎么设计、怎么造，一路聊到超算、开源模型、边缘计算，甚至意识问题。下面把干货拆开讲。

## GPU的两个老大难，他想用“大”一次解决

菲尔德曼先做了点科普。芯片就是刻在硅片上的电路，咖啡机里有，洗碗机里有，汽车里到处都是，有的传感器整机功耗只有几毫瓦。手机、笔记本、云端，全是不同形状大小的芯片在撑着，芯片就是算力的家。他把芯片比作汽车，有的适合接送孩子买菜，有的适合拉木材砖头，有的开着好玩。Cerebras只想造一种车，专门跑AI。

AI负载有两个鲜明特征：计算量大但每步都简单，数据搬运量巨大。**片上通信比跨芯片快几千倍，也省电几千倍**。芯片越大，需要搬出芯片边界、穿过主板、经过交换机的数据就越少。2015、2016年他们就看准了，通信会是AI计算的硬骨头。两条路线就此分岔：Cerebras把芯片做大，英伟达收购迈络思（Mellanox），用以太网和InfiniBand把一堆小芯片绑在一起。

绑小芯片的麻烦在哪？菲尔德曼总结了GPU的两个老大难。第一，现在的模型参数太多，单卡显存放不下，只能把参数切碎摊到很多卡上。第二，一个大层的矩阵乘法单卡算不动，只能拆成小块撒给几百上千张卡，等最后一块交卷才能出结果，这就是阿姆达尔定律管着的地方。

协调成本跟着爆炸。他让听众去看LLaMA和GPT-4论文的致谢名单，几十个人专门负责分布式计算，怎么切、怎么排、怎么传。**把一堆小芯片绑在一起，性能几乎总是次线性的**。他给了个生活版解释：一件事一个人干要X小时，加一个人从来不会变成X/2，加50个人更不可能变成X/50，分工、组织、同步本身就在吃时间。管理学的老问题，在机房里原样重演。

Cerebras的解法是把该留的留在片上：激活值不动，数据流进来，参数流进来，梯度流出去。每个核心独享一块内存，永远不用排队。排队这个词他专门展开过。GPU的经典瓶颈叫内存带宽争抢，他形容成一堆人同时涌向超市收银台：大量核心同时要读片外内存，队伍越排越长。大芯片把内存贴着计算单元放，队伍直接消失。主持人Nathan补了个穷人版理解：训练时得记着所有参数的反向传播梯度，攒够一批才能释放内存。菲尔德曼说，这个理解基本到位。

有人问他当年怎么有预见力，他摆手：我没有任何预见，技术愿景全是联合创始人的，我的本事是挑人。他真正看到的是历史规律，每次新的计算挑战出现，都会冒出新玩家。x86双雄没拿下手机计算，那块市场百分之百归了ARM。AI看起来是同一类机会，他们大概率还低估了它的规模。

## 饼干模具、多余的面团，和台北那场当场拍板的会

设计一颗前无古人的芯片要什么？好几年时间，几亿美元级别的资金，外加一批热爱硬核工程的人。团队是菲尔德曼最不担心的部分：首席技术官Gary Lauterbach是他上一家公司的联合创始人，Michael James、J.P. Fraker、Sean Lee都是老部下，前二三十名员工几乎全部共事过，有人从1996年第一家公司跟到现在。融资顺得离谱，路演8次，拿到8份投资意向书。当年白板上只写了两行字：想再一起做事，想做重要的事。

> 「我们想推动一个行业前进，想用肩膀顶它一把，看看能不能改变一个行业。好10倍不够，要50倍、100倍。」

动手画电路之前，团队先写软件模拟器，验证各种取舍：想要第三排座椅，车长得怎么变；想要货斗，后排得牺牲什么。架构师的日常就是这些选择题，而他们的每一道题只有一个评分标准：对AI好不好。面积固定，多少给计算，多少给内存，多少给通信；大核还是小核，内存集中还是分散，数据进出用几根大管道还是一堆小管道。他们反复问一个问题：AI到底要机器做什么？答案是有顺序性的小计算，一层算完传给下一层。于是64位双精度这种超算传统配置直接砍掉，GPU为图形等其他任务预留的电路也全部不要。**专注有代价，但省出来的每一寸硅片都花在了AI上**。

制造环节更刺激。晶圆是直径300毫米的硅片，光刻机像饼干模具一样在上面压出一颗颗芯片，然后切割开，chip这个词本来就是“切块”的意思。Cerebras的思路：何必切？他们发明了跨越切割线的通信技术。菲尔德曼又用上他妈妈的饼干比喻，模具压完，边上剩一圈多余的面团，切割线就是那圈面团，以前直接切掉扔了，他们让信号从里面穿过去。几十项专利都围绕这个点。

要把晶体管密度做到极致，从7纳米起全球只剩两个选项：台湾的台积电，首尔的三星。2016年他们出发时用的是16纳米工艺，照样飞去了台北。菲尔德曼回忆，对面是年收入几百亿美元的公司，自己是“30个拿着PPT的人”。他们讲了两件事：这颗芯片比历史上任何芯片大56倍，而且不需要台积电改任何工艺步骤，专利都申请好了。对方当场拍板。第一版流片，直接成功。

前人留下过大量“大芯片必败”的文献，他们花6个月、2000万美元把那些坑全部填平。但真正的难处在文献没写到的地方。中世纪地图上，未知海域画着龙，底下写一行字：此处有龙。菲尔德曼说，他们只想往有龙的地方开。他打过一个珠峰的比方：山还没被登顶时，你在山脚下喝啤酒，下来的人说半山腰最难熬；等你真登顶回来，才知道难的在更高处。**做开创性工程，每一步都没有现成目录可查**，工具、设备、散热方案全要自己造。有位供应商的工程师跟他说，你们做的事就是我当年当工程师的原因。供电和水冷都是发明出来的，他们也是最早给AI专用处理器上水冷的公司之一，水温低，可靠性高。节目视频里他把A100和自家芯片摆在一起，A100小小一块，可怜巴巴。

## 遇到零就跳过：稀疏性是省算力的钥匙

谈到通用与专用的取舍，菲尔德曼的答案值得单独拎出来讲。英伟达在V100和A100里塞过3x3卷积的专用电路，做计算机视觉很爽，做语言模型就很浪费，这是专用的代价。Cerebras把宝押在更底层的地方：**所有AI问题，图神经网络也好，视觉也好，大语言模型也好，最终都分解成稀疏线性代数**。公司成立时Transformer还没出生，等它出生，这块芯片照样是全球最快。

稀疏是什么意思？矩阵里有很多零。GPU遇到零照样老老实实做乘法，乘零花时间、花电、不产生任何新信息。他形容这是原地跑步，看着很忙，永远到不了终点。Cerebras的核心遇到零直接跳过，答案没算就知道，何必动手。

他给了个货运类比：你的物流系统只会搬托盘，箱子码上托盘、缠膜、叉车装车、跨全国运输，你根本不知道哪个箱子是空的，空箱子照样运。带宽够大，就能逐箱检查，空箱子当场扔掉。**巨大的内存带宽换来细粒度的控制，控制换来不干废活**。

最近一批论文证明，很多权重可以取整成零，精度几乎不掉。配上稀疏引擎，训练更快、算力更省、能耗更低。Neural Magic等团队也在做类似研究，方向一致：把训练这些模型所需的离谱算力压下来。

## 16台机器1360万核心，还有7个随便商用的GPT

2022年11月，Cerebras发布超算“仙女座”（Andromeda），16台机器拼成，1360万个核心。作为参照，当时地球上最大的超算核心数约800万，当然人家核心更大。这套系统跑起来之后，团队几周内向开源社区放出了7个GPT模型，按Chinchilla定律配平参数量与数据量，用Apache 2.0许可，想拿去赚钱请便。菲尔德曼特意点名对比：OpenAI把GPT-4关起来了，Meta给LLaMA上了限制性许可，他们选择全开。

软件生态也帮了忙。2015年那会儿，Caffe、Theano、早期TensorFlow混战，PyTorch还没影。现在世界收敛到PyTorch，加上Chris Lattner等人搞出的MLIR中间表示，新硬件适配的工作量大减。模型却越来越膨胀，几十张GPU已经不够用，起手就是几千上万张。**GPU集群的复杂性在涨，专用机器的简单性在变现**。

客户名单横跨日本、北美、欧洲，军队、政府、大企业、创业公司都有。葛兰素史克用它做表观基因组学研究，道达尔也是客户。药企和能源公司的数据太敏感，机器直接搬进机房；年轻从业者想要云，就给云。注意他们不单卖芯片，卖的是整机，几百万美元一台的AI专用计算机。开发体验上，两边都写PyTorch，区别在别处：用GPU集群，得花大量脑子在分布式上；用他们的机器，训练排队就行，反正每次训练只要零头时间，研究迭代快几十到几百倍。多人共用也有讲究，十个人分GPU集群，每人攥着一小撮卡，集体喝咖啡等训练跑完；十个人分一台Cerebras，按顺序排，但每一单都用零头时间跑完。更大的集群也在路上，192台以上的方案早就做过，他透露未来6到8个月会宣布几个“地球上最大级别”的项目。

非消费级的进展他特别骄傲。阿贡国家实验室基于新冠病毒DNA预测突变的工作拿了超算大会最佳论文，Cerebras参与其中，这类研究可能成为覆盖更多突变的疫苗的基础。他自己的日常清单：ChatGPT依然让他惊叹，写代码用Replit，公司内部拿Jasper做品牌文案。

## 边缘、脑机接口，和那个没答案的问题

聊到边缘计算，菲尔德曼的判断很干脆：大芯片不会进手机。边缘天生缺存储，训练是重度数据活，只能放在数据中心；推理是“进一张图、出一个分类”的轻活，适合边缘。自动驾驶就是分类问题，小孩、狗、一堆落叶，小芯片足够应付，前提是数据中心里堆满训练用算力，这也是马斯克总炫耀数据中心规模的原因。聊天这类自回归推理是重活，微软和OpenAI都要限制免费用户的使用量，因为它真的吃算力。机器人干的活大部分是视觉分类，同样适合边缘。

Neuralink那段对话有点意思。菲尔德曼认识马斯克，他说马斯克真正追的是输入输出问题：人脑通过眼睛接收数据的速率，比我们能喂给芯片的速率高出好几个数量级。婴儿看、摸、尝，大脑被数据淹没。大语言模型的进展恰恰证明，**数据的质量和流量比参数量更关键**。语言本身是瓶颈，描述一张图要一大段话，图像、气味、触感的信息量远超文字流。

主持人Nathan抛了个大胆的问题：人脑有约100万亿个突触连接，芯片有2.5万亿个晶体管，凭什么那么笃定芯片没有主观体验？菲尔德曼的回答诚实得可爱。

> 「我确信。我毫无头绪。底层就是大量的加法和乘法，但极其简单的地基上能盖出极其复杂的东西，这一点我们是知道的。」

他的态度接近经济学家的理性人假设：假设人总是理性自利，这个假设被证明是错的，但作为经验法则，大多数时候好使。将来面对机器，我们大概也会看到熟悉的行为，然后错误地归因给某种“感受”。至于真相，他建议主持人去找比他聪明得多的人。

他对当下的判断也冷静：过去半年是革命，但大家现在做的，多半还是把已经在做的事做得更高效。写文案、生成故事，都还是老活的加速版。历史上真正的生产力爆发，要等整个组织围绕新技术重组之后才来，AI还没走到那一步。聊到社会影响，他的框架是拿现实对比现实，别拿理想对比现实。人脸识别既能迫害少数群体，也能锁定恐怖分子；人类开车其实很糟糕，自动驾驶的目标是把交通死亡人数大幅降下来。算法改一次就保持修正，人会反弹，所以他判断纠算法比纠人容易。互联网先冒出来的是色情和暗网，好处晚几年才到。AI驱动的钓鱼、诈骗、压迫，风险真实且巨大，必须认真对待。但他押注整体收益：这项技术会从根本上改善我们工作、生活、娱乐的方式。

## 明天就能用的四件事

- **算总账别只算卡价**：GPU单价低，但团队花在切分参数、排布任务、调试集群上的时间是真实成本。模型在几十到几百卡量级，值得测一下Cerebras这类专用整机，官方口径是迭代快几十到几百倍。
- **给模型做减法**：论文已经证明大量权重可以取整成零而不掉精度。剪枝加稀疏友好的推理引擎，省算力也省电费。
- **拿开源模型当起点**：Cerebras放出的7个GPT模型用Apache 2.0许可，商用无限制，做微调起点比受限许可的模型省心。
- **分清负载类型**：分类类任务（识别、检测）可以往边缘和端侧放；自回归生成（聊天、写作）短期内留在云端，别为难手里的显卡。

最后记一句菲尔德曼的原话。他们造这颗芯片时给自己定的及格线：好10倍不够，要50倍、100倍。这个标准放在任何行业，都值得抄下来贴在工位上。