No. 194·精读

Robert Wright:芯片管制拆掉了台积电这颗保险栓

Is an AI Arms Race Inevitable? with Robert Wright of Nonzero Newsletter & Podcast

Nonzero通讯作者Robert Wright与Nathan讨论AI军事化、中美关系与芯片战,追问AI军备竞赛是否注定发生。

节目音频00:00 / 2:01:58
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2024 年 11 月,Anthropic 和 Meta 先后接下美国军方的合作项目,把大语言模型接进国防业务,中间还夹着老牌国防承包商 Palantir。Anthropic 一向以安全优先自我标榜,这次转身让不少人意外。

Robert Wright 不意外。这位写过《非零和博弈》和《道德动物》的记者,如今在 Substack 上经营 Nonzero 通讯和播客。他在文章《AI Surrenders to the Military Industrial Complex》里说,只要认真读过 Dario Amodei 那篇一万五千字的《Machines of Loving Grace》,就该知道 Anthropic 迟早会走到这一步。

Nathan Labenz 是 Cognitive Revolution 的主播,也是 Waymark 的创始人,这家公司用 AI 给中小企业做视频广告。他刚在伯克利参加完一场叫 The Curve 的会议,会上有个 2027 年快速起飞设定的 AI 战争模拟,参与者来自学术界、产业界、AI 安全非营利组织和国家安全圈,组织者之一是 Daniel Kokotajlo。模拟里中美打了起来,尽管 AI 本身还算温和。

Dario 的一万五千字,一半是愿景,一半是地缘政治

《Machines of Loving Grace》大部分篇幅在讲 AI 能带来什么好处。Dario 有生物学和生物物理背景,他推演 AI 足够强之后,生物学和医学研究会加速到什么程度,提出一个叫“压缩的世纪”的设想:本来要一百年才能跑完的生物医学进步,可能压缩到五到十年,全球经济增长和健康水平的改善一并打包。Nathan 说他一直盼着有 AI 实验室的负责人讲点正面愿景,让人有个盼头,这部分他读得很受用。

问题出在后半段的地缘政治章节,篇幅短得多,推理也轻描淡写。Dario 的设想大致是:民主国家结成联盟,靠 AI 优势把对手隔离在外,等到差距足够大,对手就只剩一条路,接受条件加入这个体系。原文的表述是,要让对手处在一个位置,“give up competing with democracies in order to receive all the benefits and not fight a superior foe”,放弃与民主国家竞争,换取全部好处,不必跟一个更强的对手开战。

Robert 追问:什么叫放弃竞争?经济上也不许竞争吗?条件具体是什么?文章没写。他还提到,Dario 这篇文章在 Lex Fridman 那场马拉松式访谈里被重点讨论,唯独这段被跳过。

Nathan 把这种思路概括成“一个对方无法拒绝的提议”。条款至今没人写出来,时间线倒是写得很清楚:两到四年,2027 年最可能。也就是特朗普和习近平这一届领导人要拍板的事。Nathan 说他对这个计划不太放心,但也找不到像样的替代方案。他引用 Zvi Mowshowitz 的说法,所有选项都很糟。

《Situational Awareness》与 AI 圈的鹰派共识

更早的一个路标是 Leopold Aschenbrenner 的《Situational Awareness》。这篇长文被伊万卡·特朗普转发,在硅谷传得很广。核心论点是:一旦跨过 AGI 门槛,通往超级智能的起飞会非常快,先到的一方在几个月内就能取得压倒性优势。至于优势怎么用,Robert 自己举例,可能就是直接给 AI 下指令,让它去找办法渗透中国的社交媒体,劝说中国人相信自己的政府不行。

Nathan 在伯克利那场会上观察到,对华强硬立场在 AI 安全圈和国家安全圈里都是主流。大家在别的问题上分歧巨大,比如 AI 能力会涨到多高、多快、能不能控制得住,但在支持对华芯片出口管制这件事上,两个群体里的大多数立场一致。

为什么鹰派立场能在 AI 圈站住脚?Nathan 给了一个华盛顿视角的解释。两党互相卡脖子,什么议题都推不动,唯独“不能让中国赢”能同时拿到两边的票。基础设施、道路桥梁、产业补贴,想推动任何事,先包装成对华竞争的一环。这个框架好用,于是被用滥。

Nathan 自己的态度有矛盾。他认同先进芯片制造全靠海外不够安全,也认为中美经济脱钩会让未来的冲突更容易发生,他对这个方向并不满意。他提醒,多数与会者并不认为 AGI 一定会来,但几乎所有人都承认这个可能性无法排除,Leopold 当初那条推文里用的说法就是“惊人地可信”。

回溯这几年,Nathan 记得很清楚:GPT-2 发布时他在医院等候室,妻子正在办入院,他五岁的儿子即将出生。那时候的模型连一个通顺段落都写不好。现在模型的常规任务推理已经到专家水平。o1 这类思维链模型出来后,OpenAI 不公开思考过程,中国 DeepSeek 在大概九周后推出 deep think,另一个中国复现也很快跟上。

有人怀疑这些是中国偷了 OpenAI 的技术。Nathan 的判断是不能排除,但更可能是中国研究者本来就在这条路上,而且他们很强。存在证明在 AI 领域的力量极大,一旦看到某件事可行,追赶速度会非常快。他还提到,AI 训练的信号正在从人类数据回流到现实反馈,早期下棋、打扑克的 AI 就是靠胜负信号练到超人水平,代码的正确与报错同样能提供即时反馈。AlphaGo、星际争霸、无限注德州扑克、外交博弈,这些系统在各自领域里超越人类时,用的都不是教科书。

Nathan 提到一个标志性转变。Sam Altman 几年前公开说过,我们不应该根据猜测中国会做什么来做 AI 决策,有视频为证。如今他写过一篇评论文章,核心意思是:要么是西方价值观的 AI,要么是威权价值观的 AI,没有第三条路。Nathan 当年还专门称赞过 Altman 不拿中国当靶子,因为一旦把中国塑造成威胁,就等于给自己的一切行为开了绿灯。现在这个绿灯亮了。

台积电曾经是和平的保险栓

Robert 把话题拉回芯片战争的直接后果。几年前的局面是:中国和西方的高性能 AI 芯片都出自台积电在台湾的工厂。这构成一种类似相互确保摧毁的结构。中国若动武,那些工厂必然瘫痪,美国即便战败也会在撤退前炸掉,何况荷兰 ASML 的设备和常驻支持团队可以远端断供。战争意味着双方同时失去先进芯片的来源。这个代价是抑制因素。

芯片管制改变了结构。中国已经拿不到高性能芯片,动武的顾虑因此少了一块。不是说中国一定会打,而是每年做成本收益计算时,“打了就没芯片用”这个砝码变轻了。Robert 说这套逻辑纯属博弈论,清楚到不需要辩论,但他在外交政策圈子里听不到这种讨论。他最后找到一个真正写过这件事的人,中国科技专家 Paul Triolo,建议 Nathan 请对方上节目。

Nathan 说这类担忧在 AI 圈并非无人提及,只是少数派。他转述 Zvi Mowshowitz 的一个反问:如果中国政府真的相信西方 AI 领袖和政策圈相信的那套时间线,台积电为什么还在?芯片制造工艺脆弱到一粒灰尘就能毁掉一批芯片,ASML 的设备单台造价数亿美元,包装运输极为讲究,现场还有 ASML 团队常驻支持,想破坏并不难。Zvi 的结论是,台积电还在,说明中国目前还不太信。言下之意,一旦他们信了,行为会变。

Robert 补充另一层:芯片对全球经济的意义远不止 AI。一辆现代汽车里可能有上千颗芯片,台积电停摆会冲击的不只是数据中心。这个筹码的分量,比 AI 圈通常讨论的要重得多。

Robert 还批评 AI 圈的知识结构。硅谷这批人擅长理性推理和博弈论,国际事务的底子却偏薄。他在《Situational Awareness》里读不到一个建议颠覆世界秩序的人该有的外交事务熟练度。Nathan 承认这一点,并提到 Miles Brundage,这位前 OpenAI 政策研究负责人最近反复说一件事:西方需要想办法让中国相信,我们的 AI 发展是良性的。Nathan 的补充是,这事本来就不容易,因为很难说它真的良性。

Robert 引用了 Ilya Sutskever 几年前的一段表态,大意是希望世界各国能清楚认识到,AI 是所有人共同面对的挑战,联合起来治理符合各方利益。Robert 说他看不到有多少人愿意停下来评估这个判断是否成立。这让他不安,因为军备竞赛会压低透明度、抬高保密性,让各方更倾向于在安全测试不充分的情况下抢先发布模型。他还观察到两个圈子各缺一块:AI 圈懂能力曲线却不懂地缘政治,外交政策圈熟悉地缘政治却对 AI 缺乏直觉,两边各自做判断,容易在盲区里撞车。

中国想把制度推给别人吗

Robert 质疑一个在外交政策圈和硅谷都常见的假设:中国的外交政策目标之一是把自己的政府形式强加给别的国家。他说没有证据支持这一点。中国更接近现实主义路线,跟谁都能做生意,要求的是经济圈里的位置和国际机构里的票,并不要求对方变成中国。

反过来,美国确实在做这件事,伊拉克战争是最直白的例子。Robert 说他不否认很多人权诉求的价值,他自己也认同其中不少,只是实际效果从零到适得其反都有。他的判断是,美国在把自己的外交习惯投射到中国身上。有人拿中国对好莱坞施压、要求地图标出九段线之类的例子反驳,他承认这些事存在,但认为有其他解释,不一定指向“想让美国变成威权”。

Robert 还举了一个反直觉的可能性:中国的体制反而可能让它更有动力监管 AI、控制推进速度,社会因此更稳,最后在这条路上占到便宜。他提到这个不是当成主要担忧,只是想说明,AI 军备竞赛的账本远比“谁先到谁赢”复杂。

两人在节目里都明确表态:不喜欢习近平,不愿意生活在中国现行的审查制度下,不认同中国很多内外政策,也不想在讨论里显得天真。他们承认自己手里没有现成的好答案,但都觉得,找一个比现在这套更好的方案值得花时间。Robert 最担心的一点是,把中美关系框定成民主与威权的生存性战争,容易变成自我实现的预言。Nathan 呼应说,当他看到美国总统在公开文件里写“我们必须赢得与中国的 AI 军备竞赛”,很难指望中国政府把它读成善意。

明天就能做的事

这场对话没有给出完整方案,但留下了几件具体可做的事。

  • 把 Dario 那篇《Machines of Loving Grace》拆成两半来读。前半段的生物医学愿景值得认真看,后半段的地缘政治章节对照着看,数一数两部分各占多少篇幅,再想想这个比例说明了什么。
  • 读 Leopold Aschenbrenner 的《Situational Awareness》,重点找它没有写出来的假设:超级智能起飞有多快,先到者的优势能维持多久,对手会怎么反应。
  • 关注 Miles Brundage 的公开发言。他提出的问题很具体:西方怎么让中国相信自己的 AI 发展是良性的。这个问题答不上来,其他方案都是空中楼阁。
  • 关注 Paul Triolo,他是少数把芯片管制副作用写清楚的中国科技专家。Zvi Mowshowitz 的通讯也值得订阅,他对台积电问题的反问很短,值得记住。
  • 下次跟人讨论对华芯片管制时,把台湾这颗保险栓的博弈论讲一遍:管制让中国动武的芯片顾虑变轻了,这个副作用有没有被评估过。问出口,就是推动。
  • 如果你在 AI 公司做政策或安全,把“我们的能力发展会被对方如何解读”写进风险评估。技术团队常把这当成公关问题,它其实是安全问题。

Robert 在节目里自嘲说,他这套想法很模糊。模糊归模糊,他至少指出了一个具体机制:一条为了延缓对手而设计的政策,同时拆掉了阻止战争的一根支柱。这句话值得带到任何一场 AI 政策讨论里。Nathan 在结尾说,希望听众提供反馈,尤其是关于如何在两个大国之间建立信任、如何设计新的 AI 治理机制的想法。这大概是这场对话最实在的邀约。

In this episode of The Cognitive Revolution, Nathan explores the complex intersection of AI development and international relations with Robert Wright, publisher of the Nonzero Newsletter. They examine the growing militarization of AI, US-China relations, and the concerning trajectory of what Wright calls "the chip war." Drawing from Nathan's recent experience at The Curve conference and an AI wargame simulation, they discuss the risks of an AI arms race and search for alternative paths to avoid catastrophic conflict between global powers. Join us for this crucial conversation about the future of AI governance and international cooperation.

Subscribe to The NonZero Newsletter at https://nonzero.substack.com
Be notified early when Turpentine's drops new publication: https://www.turpentine.co/exclusiveaccess

RECOMMENDED PODCAST:
Unpack Pricing - Dive into the dark arts of SaaS pricing with Metronome CEO Scott Woody and tech leaders. Learn how strategic pricing drives explosive revenue growth in today's biggest companies like Snowflake, Cockroach Labs, Dropbox and more.
Apple: https://podcasts.apple.com/us/podcast/id1765716600
Spotify: https://open.spotify.com/show/38DK3W1Fq1xxQalhDSueFg

SPONSORS:
Notion: Notion offers powerful workflow and automation templates, perfect for streamlining processes and laying the groundwork for AI-driven automation. With Notion AI, you can search across thousands of documents from various platforms, generating highly relevant analysis and content tailored just for you - try it for free at https://notion.com/cognitiverevolution
80,000 Hours: 80,000 Hours offers free one-on-one career advising for Cognitive Revolution listeners aiming to tackle global challenges, especially in AI. They connect high-potential individuals with experts, opportunities, and personalized career plans to maximize positive impact. Apply for a free call at https://80000hours.org/cognitiverevolution to accelerate your career and contribute to solving pressing AI-related issues.
SelectQuote: Finding the right life insurance shouldn't be another task you put off. SelectQuote compares top-rated policies to get you the best coverage at the right price. Even in our AI-driven world, protecting your family's future remains essential. Get your personalized quote at https://selectquote.com/cognitive
Oracle Cloud Infrastructure (OCI): Oracle's next-generation cloud platform delivers blazing-fast AI and ML performance with 50% less for compute and 80% less for outbound networking compared to other cloud providers13. OCI powers industry leaders with secure infrastructure and application development capabilities. New U.S. customers can get their cloud bill cut in half by switching to OCI before December 31, 2024 at https://oracle.com/cognitive

CHAPTERS:
(00:00:00) Teaser
(00:00:59) Sponsors: Incogni
(00:02:20) About the Episode
(00:05:56) Introducing AI2
(00:09:56) Tulu: Deep Dive (Part 1)
(00:17:43) Sponsors: Notion | Shopify
(00:20:38) Open vs. Closed Recipes
(00:29:48) Compute & Value (Part 1)
(00:34:22) Sponsors: Oracle Cloud Infrastructure (OCI) | 80,000 Hours
(00:37:02) Compute & Value (Part 2)
(00:42:41) Model Weight Evolution
(00:53:16) DPO vs. PPO
(01:06:36) Project Trajectory
(01:20:39) Synthetic Data & LLM Judge
(01:27:39) Verifiable RL
(01:38:17) Advice for Practitioners
(01:44:01) Open Source vs. Closed
(01:49:18) Outro

SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://www.linkedin.com/in/nathanlabenz/
Youtube: https://www.youtube.com/@CognitiveRevolutionPodcast

本集资源与出处