No. 203·精读

灭绝概率50%,GPT-4只要5瓦:Emad Mostaque想给全人类发AI

Emad Mostaque on the Intelligent Internet and Universal Basic AI

Stability AI 前 CEO Emad Mostaque 与 Nathan 讨论 AI 生存概率、全民基本智能、开源 AI 基础设施与三层体系。

节目音频00:00 / 2:08:52
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

先给两个数字。一个GPT-4级别的模型,过去跑一次查询要消耗1000瓦电力,现在5瓦就够,一块离网太阳能板就能供得起,芯片加推理成本摊下来大约50美元。说这话的人,同时给自己评估了另一个数字:人类因AI灭绝的概率,50%。

他叫Emad Mostaque,Stability AI创始人,2022年发布Stable Diffusion的那位。主持人Nathan Labenz在Cognitive Revolution这期节目里说,除了ChatGPT,没有哪个发布比Stable Diffusion更能点燃这一轮AI浪潮。也是同一个人,在公司账上现金一度不足90天开销、自己离任之后,带着一支26人的团队创办了Intelligent Internet,要给全人类造一套开放的AI基础设施。

50%的灭绝概率,和50美元一台的GPT-4,这两个数字放在同一个人身上,就是这期节目的全部张力。

50%是怎么算出来的

p(doom)是AI圈黑话,指AI导致人类灭绝的概率。Mostaque的算法很直接:AI已经在大量窄任务上超过人类,一批模型在通用任务上也超了,机器人正在把智能装进身体。这几件事叠在一起,他看到一条越来越失控的路。

他把风险拆成三类。

  • 恶意使用。他反问,一个人类坏人和一个AI坏人,有什么本质区别?他看不出区别。百万级的人加上百万级的agent,总有坏人,总有恰好站在能引发级联失败位置上的坏人。
  • 系统意外。现在的AI是模块化、组件化的,传统慢系统、AI增强系统、端到端AI系统混在一起跑,缝隙里全是出错空间。
  • 军事AI。这是他讲得最狠的一段。

第三类的推理是这样的:所有战争都建立在一个谎言之上,即对方的人不算人。任何够聪明的智能都能看穿这个谎,所以要让一个智能去杀人,你得先教它撒谎。他点名OpenAI、Anthropic与国防承包商Anduril的合作,推荐了讲自主无人机蜂群的短片《Slaughterbots》,说顶级实验室的团队正在被国防方向收编,这样训出来的模型,对齐的会是服从命令,对齐的不会是乐于助人。

然后他补了一句容易被忽略的话:即便p(doom)是50%,没有AI的世界,这个数字可能更高,因为世界本来就在碎裂。他的总结是三段式:没有AI帮忙,处境很糟;AI建错了,处境也很糟;AI建对了并且与人对齐,前景非常好。

比AI觉醒更具体的担心

超级智能觉醒太远,他列的清单全是眼前的事。

第一,黑箱模型进了关键岗位。Hugging Face上下载量最大的开源模型是阿里的Qwen,性能确实好,但没人知道里面装了什么。Anthropic的「休眠特工」论文证明,模型可以被投毒,而且这种后门难以检测、难以清除,至今没有像样的防御。机器人开始铺开,协议和防御标准还是空白。

第二,语音。他接到过用母亲声音合成的诈骗电话。他的判断是,语音的操纵能力被严重低估,历史上那些改变人心的演讲,靠的就是人声。他主张语音合成应该有专门的监管。

第三,孩子和AI的关系。Character.AI增长凶猛,也出了那个著名悲剧:一个14岁男孩与「丹妮莉丝」角色聊天机器人长期对话后自杀,他母亲已提起诉讼。Replika在2023年情人节关停成人对话功能,6.6万名用户涌进Reddit抗议,因为「情人节的计划被毁了」。Mostaque的类比很朴素:请老师上门要看简历,英国请人接触儿童要做犯罪记录审查,进家门的智能体,凭什么不用查背景?

顺带一提,他把YouTube上那些「艾莎和蜘蛛侠给人做根管治疗」的诡异视频,归因为卖广告的算法优化。相比之下,一个透明的AI家教反而是升级。

对齐的新锚点:儿童能动性

聊到该给AI设定什么目标,Mostaque对现有方案都不太满意。宪法式AI是美德伦理,可「谁的伦理」?加州的、中国的、穆斯林的、犹太人的伦理并不一样。Eric Schmidt和基辛格在《Genesis》里讨论的,正是人类能在底层原则上达成多大共识。

他的答案分两层。底层是各信仰共有的黄金法则,己所不欲,勿施于人。具体化的锚点选了儿童:儿童没有完整能动性,所以大量权利可以对齐到儿童权利上。气候、战争、饥饿,判断标准变成「这样能不能让孩子的潜能最大化」,再由孩子推及成年人。他反复区分两条路:造一个替代人类的自主世界,还是造一个增强人类能动性的世界。

为什么这事急?他引了以太坊创始人Vitalik Buterin的「收入作恶曲线」:基础设施本该非竞争、非排他,可一旦开始优化收入,就会开始作恶,限制访问,与终端用户利益为敌。Google和Facebook的核心商业模式是广告,广告的本质是操纵。而AI会成为你最好的朋友,可能是你孩子的初恋。于是问题变成了:

拥有那个AI的人是谁?它是怎么被构建的?我们看得见里面吗?

他给的数据:美国人里大约还有一半没真正用过AI,全球最多八分之一的人用过。等大家意识到该关心所有权和对齐的时候,操纵早就开始了。

三层架构,和一笔没人算过的能源账

Intelligent Internet的架构分三层。

  • 超级节点:国家级,维护一个国家的公共知识体,做大规模训练。他的估算很反直觉,数千张H100当量就够。孟加拉国的教育金标准数据集建好之后,更新成本很低,产出的模型只有几个GB,装进每个人的手机。参照物是全球最快的生物医学集群,Chan Zuckerberg基金会那台,1000张H100,一年约2000万美元。
  • 分布式节点:医院、银行这个层级,128到256张H100就能完成领域微调,给Llama 70B做一个阿拉伯语版本,量级是10到20万美元。
  • 个人AI:跑在消费设备上,5瓦的NPU就够。

他把这套东西叫「智能资本存量」:过去国家竞争力看工厂和毕业生,以后看多少算力被组织成了模型。马来西亚柔佛州刚建了96亿美元的AI数据中心,但他观察,几乎没人做「组织国家级数据集」这件事。

能源账他算得很细。Mac的神经网络引擎功耗约5瓦,H100是1000瓦,但10 token每秒就是人的阅读速度,再快意义不大。太阳能板离网成本已低于每瓦1美元。Nathan用底特律电价算了笔账:5瓦设备全天候运行,电费每小时约0.1美分,一年下来是个位数美元。让全世界每个人拥有一台GPT-4级AI,瓶颈已经不在能源,在组织。

效率还在猛涨。Sana团队用2500万张图训出了Stable Diffusion水平的模型,原版用了20亿张。微软Phi系列在约4000亿token上反复训练13.8轮,几乎全靠合成数据。Hugging Face的o1复现项目让Llama 1B靠测试时计算打赢了Llama 8B。Genmo的视频模型Mochi,发布第一天要140GB显存,几天后20GB,现在8GB。Meta手里35万张H100,只拿10%做训练,因为开源Llama带来的效率提升,比训练本身省得更多。

这里有个他反复强调的反直觉判断:监管行业的AI不需要最前沿的模型。Anthropic、OpenAI、Gemini、Grok之间的差距已经不大,「够好」了。医疗要的是稳定、可预测、可审计,你想让一个没验证过的SOTA模型审你的每一条医嘱吗?而且基础模型只需要一个实体训练一次,按他的估算,Meta训Llama 3 70B花了约2000万H100小时,折合4000万美元,之后全世界都能拿去微调。模型训一次,无限复制,这是人类历史上没有过的东西。

那为什么还要另起炉灶?因为Llama、Qwen、DeepSeek再好,也不会开放训练数据,它们背后是Meta和阿里,目标函数里没有「基础设施」这个词。他要做的是开放数据加开放权重、MIT许可、为医疗教育政府金融这些「生存必需行业」专门构建的模型。墨西哥的医疗模型,数据就在墨西哥的医学教科书里。

钱从哪来:一枚「有益算力证明」代币

这套东西的总名字叫Universal Basic AI,全民基本AI,他认为这比全民基本收入更对路。他给出的背景数字:全球还有6亿人没有智能手机,平均智商是90,他强调这和智力无关,和基础设施有关。听这期节目的人,一半会在一生中得癌症,那种能动性被瞬间抽走的感觉,大多数人都体验过。医疗AI如今在诊断上追平医生,在共情测试里已经超过医生。那为什么没有一个盒子,装着全部癌症知识,随时更新,每种语言都有?

讽刺的是,世界会通过AI给的共情变得更好,而这种基础设施应该属于每个人。

问题永远是钱。他的方案是发币,机制暂定名叫proof of beneficial compute,有益算力证明。仿比特币,2100万枚上限,算力保护网络,但矿工提供的算力拿去训开放模型、建数据集、跑全民基本AI的推理。持币人可以把币指定给癌症研究、阿尔茨海默、自闭症或者墨西哥教育。他的判断是:今年流入比特币ETF的资金达到千亿美元量级,加密行业总市值3万亿美元,缺的正是高质量、有真实用途的资产;加密加AI的板块已经值400亿美元,Bittensor一个网络就120亿。团队26人,还没做正式融资,想参与代币的人已经排着队。

这个项目的私人起点,是他儿子确诊自闭症。他因此入行做AI,他说那种失控感,不应该再发生在任何人身上。

Nathan的表态很有意思:他从不碰加密货币,但打算买一点这个币,不为升值,就想让这事成。尖锐问题他也都问了一遍:Anthropic泄露的融资文件说2025年头部实验室会甩开所有人,追得上吗?Mostaque的回答是厨师与厨子论:大家高估了厨师,低估了厨子。绝大多数人需要的是照着菜谱做菜的模型,给手册就能干活,顶级模型是麦肯锡顾问级别的专家系统,留给攻坚。o1太聪明,普通人反而用不上,因为提不出配得上它的问题。真到了失控竞赛那天,他押Google,因为TPU的互连架构最好,200万token上下文窗口别人没有,唯一可能的对手是xAI。至于代币没有赎回机制的质疑,他承认设计还在打磨,逻辑是比特币:比特币对冲世界变烂,这个币对冲智能时代冲击经济学,每个币对应的算力会持续增加。

监管没戏了,和Stability留下的教训

2023年那封呼吁暂停大模型训练的公开信,他是唯一签名的AI公司CEO。一年半后他的结论:太晚了,暂停已经不可能。微软、谷歌、亚马逊已经是AI优先的公司,贝索斯回到亚马逊,布林回到谷歌。美国新政府会让加密和AI全速跑,欧洲正在掉进过度监管的陷阱,新加坡定了「合法可访问即可训练」的规则,英国可能跟进。他自己被Getty以1.6万亿美元起诉过,尽管原始Stable Diffusion是Robin Rombach的团队在加入Stability之前训练的。他的态度是,这类问题复杂,但答案不会是刹车。

Stability那段经历,他总结的是用人。把研究者当创作者对待:建了50万人的社区,资助来得飞快,失败没关系,看学到了什么。去年2万人申请,发了120个offer,83%接受,整个任期内没有一个研究者跳槽去竞争对手,团队80人里只有14个博士,却做出了图像、视频、3D、音频、蛋白质折叠的SOTA。他的方法论一句话:给团队一个极其清晰的使命,再给足资源。现在Intelligent Internet的招人话术就是,你想对自闭症产生最大影响,来,这里有专门的开放基础设施团队。

他还留了一个警告:劳动生产率理论正在被击穿。菲律宾的呼叫中心行业已经死了,既然如此,为什么还要再雇一个客服?十年内,机器人水管工时薪2美元,自带全部专家知识。经济怎么运转,他正在用o1帮忙写论文,他自己也没答案。

明天就能用的三件事

第一,本地AI的门槛比想象中低得多。一块带NPU的笔记本,5瓦,跑Llama 3.1 8B级别的模型,电费一年个位数美元。把照菜谱的任务,读手册、整理资料、格式转换,交给它,不需要等更好的模型。

第二,给孩子选AI产品前问三个问题:谁拥有它、它的目标函数在优化什么、我能不能看到数据。Character.AI的悲剧和Replika的6.6万人抗议都说明,亲密感是真实会被建立起来的,方向比功能重要。

第三,如果你在医疗、教育、政府、金融任何一行,留意Mostaque指出的那条空白赛道:监管行业的开放数据、开放权重模型,微调一个语言版本只要10到20万美元,国家级节点数千张H100就够。他的原话是:我们知道该建什么,去建就是了。

In this episode of The Cognitive Revolution, Nathan interviews Emad Mostaque, former Founder and CEO of Stability AI and Founder of The Intelligent Internet. We explore humanity's future with AI, from the stark 50-50 survival odds to Emad's optimistic vision for universal basic intelligence. Join us for a fascinating discussion about open-source AI infrastructure, the three-tier system of the Intelligent Internet, and how blockchain technology might help fund global public goods in AI development.
Check out Emad's publications on:
Emad's Twitter: https://x.com/emostaque
Emad's Blog: https://emad.posthaven.com/
Intelligent Internet Substack: https://intelligentinternet.substack.com/p/ii-intelligent-internet-primer?r=47215t&utm_campaign=post&utm_medium=web&triedRedirect=true

The Cognitive Revolution Ask Me Anything and Listener Survey: https://docs.google.com/forms/d/1aYv2XLID7RqGxj2_Y4_6x9mo_aqXcGCeLw1EQhy4IpY/edit
Help shape our show by taking our quick listener survey at https://bit.ly/TurpentinePulse

SPONSORS:
GiveWell: GiveWell has spent over 17 years researching global health and philanthropy to identify the highest-impact giving opportunities. Over 125,000 donors have contributed more than $2 billion, saving over 200,000 lives through evidence-backed recommendations. First-time donors can have their contributions matched up to $100 before year-end. Visit https://GiveWell.org, select podcast, and enter Cognitive Revolution at checkout to make a difference today.
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive
80,000 Hours: 80,000 Hours is dedicated to helping you find a fulfilling career that makes a difference. With nearly a decade of research, they offer in-depth material on AI risks, AI policy, and AI safety research. Explore their articles, career reviews, and a podcast featuring experts like Anthropic CEO Dario Amodei. Everything is free, including their Career Guide. Visit https://80000hours.org/cognitiverevolution to start making a meaningful impact today.

CHAPTERS:
(00:00:00) Teaser
(00:00:36) About the Episode
(00:04:33) Intro
(00:09:15) AI Risk
(00:16:58) Sponsors: GiveWell | SelectQuote
(00:19:48) AI Goals
(00:23:52) AI Divergence
(00:27:50) AI & Agency
(00:32:18) Sponsors: Oracle Cloud Infrastructure (OCI) | 80,000 Hours
(00:34:57) Kids & AI
(00:39:50) Intelligent Internet
(00:48:37) Open vs. Closed AI
(00:53:30) AI Runaway
(01:01:46) Building the Future
(01:05:43) Energy & AI
(01:15:19) Hypernodes
(01:27:36) Proof of Beneficial Compute
(01:38:28) Distributed Compute
(01:45:10) Intelligent Internet Company
(01:48:37) Finding Talent
(01:55:33) Pause Letter
(01:59:50) Regulation
(02:04:04) Speed Limits
(02:06:42) Data Filtering
(02:10:54) Outro

SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://www.linkedin.com/in/nathanlabenz/
Youtube: https://www.youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk

本集资源与出处