30 年内 10% 的概率，一场由 AI 助攻的政变
What if Humans Weaponize Superintelligence, w/ Tom Davidson, from Future of Life Institute Podcast
Forethought 的 Tom Davidson 与生命未来研究所的 Gus Docker 谈 AI 助长政变的三种威胁模型，以及未来三十年约一成的发生概率。
Tom Davidson 给了一个数字：未来 30 年，美国发生一场由 AI 协助的政变的概率，大约 10%。如果没有 AI，这个数字大概是 2%。
Davidson 是 Foresight Center for AI Strategy 的高级研究员。他在 Future of Life Institute 的播客里跟主持人 Gus Docker 聊了这个话题。Cognitive Revolution 的主持人 Nathan Labenz 听完觉得重要，把整集转播了过来，还配了一段开场白。
大多数人讨论 AI 风险，画面是机器觉醒、系统叛变。Davidson 把镜头转向另一个方向：一小撮本来就握有权势的人，用越来越强的 AI 绕过民主制度的制衡，把权力锁死在自己手里。他把这叫 AI 协助的政变。主谋是人，工具是 AI。
他特意强调，他不认为今天有哪家前沿 AI 公司的 CEO 在密谋政变。风险来自三样东西的化学反应：巨大的激励、飞快进步的能力、人想要更多影响力的本能。一步一步走，没有哪一步是明目张胆的恶意决策，走到最后发现民主社会的制衡已经被悄悄绕过去了。
这种场景听起来不如「天网」刺激，但历史先例摆在那里。人类用新技术集中权力的剧本演过很多遍。AI 只是给这些老剧本换了一个马力更大的引擎。
三种让少数人抓权的路径
Davidson 把威胁拆成三种模型，每种对应不同的夺权方式。
第一种叫单一效忠。国家元首说，我们要造机器人军队，这支军队要效忠我。
他的原话大意是：我是三军统帅，军队听我的命令天经地义。可以放一些名义上的法律保障，但别太当真。在他看来，这在美国会非常有争议，肯定违背宪法原则，但严格说是否违法，法律上是一片空白。我们从来没有过这种技术，国会没为它立法，宪法对这么强大的军事技术没有防御力。
元首有很多政治权力。他可以用国内紧急状态或地缘政治紧张来推动，可以解雇不同意的高级军官，可以依靠已经非常忠诚的国会。机器人军队造出来，效忠元首，元首下令政变，机器人包围白宫，镇压抗议者。就算民众罢工，AI 和机器人也能替代经济中的岗位。人类失去正常的议价能力，而正是这种议价能力让大多数国家不敢轻易搞军事政变。
这里有一个分水岭，Davidson 反复强调。当 AI 能完全替代政府、军队里的人类，权力结构会发生相变。AI 只辅助人类的时候，领袖仍然要依赖其他人跟 AI 协作。一旦 AI 和机器人能完全替代人类，领袖不需要依赖任何人了。
历史上有过很多政变，发动者总需要一部分人跟着走，需要说服高级军官不反对。军事自动化程度越高，这个约束就越松。
第二种叫秘密效忠。场景换成 AI 公司 CEO。
这位 CEO 已经把 AI 研究自动化了，理论上可以解雇所有员工，因为 AI 能干活。他意识到自己处在一个微妙的位置：手里握着极其强大的技术，权力几乎不受约束。他担心政府会意识到这件事有多大，会来接管。他也可能担心政府会用这项技术做不道德的事，比如发动战争。
于是他找 AI 顾问商量。一个非常聪明的 AI 系统可能给出这样的方案：在我们下个月要造的超级智能系统里留一个后门。如果政府命令这些系统做你不认可的事，系统就拒绝执行。那些部署在军队里的强大机器人，如果接到政府真正糟糕、不道德的命令，就拒绝服从。
这家机构未来开发的所有 AI 都带着这个后门，也就是 Davidson 说的秘密效忠。表面上它们遵守法律、维护民主，实际上秘密效忠 CEO。如果这家公司的 AI 负责造军用机器人、军用无人机、军用通信系统，那么建造这些设备的 AI 可以把秘密效忠传递下去，或者在军事基础设施里埋下只有它们知道的漏洞。
前提是 AI 超级聪明，能设计人类检查不出后门的复杂机械。于是军事基础设施最终可以被 CEO 控制。如果有人想撤掉这位 CEO，或者发生了 CEO 不喜欢的大事，他可以下令：现在我说了算。机器人包围白宫，这次效忠的是公司 CEO。
第三种叫独占访问。前两种都需要社会选择部署 AI，把大量权力交出去。第三种不需要。
它设想：一个 AI 项目领先其他项目一大截，也许经历了一次智能爆炸。AI 能自动化 AI 研究，然后 AI 迅速变得比人类聪明得多。这个项目里少数几个高管或政治人物，也许能偷偷抽走 1% 的算力，运行超级智能系统，问它：我们怎么才能最好地夺取权力？
然后是几百万个这样的系统，每天做一个月的研究量，每周做几年的研究量。研究怎么在这个政治体系里获得权力，怎么黑进这些系统，怎么确保军事机器人部署时归我们控制，不管用什么手段。
这个模型可能在人意识到风险之前就启动了，因为它基本上发生在某个服务器上。一小组人因为能调用巨大的智力资源而取得巨大优势，游戏可能在这里就分出胜负。Davidson 认为值得单独追踪这条路径。
三种模型会交互。超级智能大军可能建议：利用你国家元首的身份，推动机器人效忠你。也可能建议：帮你在所有军事装备里埋后门，然后你就能发动政变。还有别的方式：快速造出全新的武器，压倒军队，没人知道。
sleeper agent 是概念验证，不是成品
Gus 追问秘密效忠和 sleeper agent 的关系。
sleeper agent 是技术文献里的标准术语。今天的版本还很粗糙。一个例子：大多数时候 AI 按指示写出可靠的代码，但如果它看到年份是 2026，就写出带漏洞的代码。有一个触发器触发恶意行为。正常交互时你完全看不出来，因为它一直按你的意图行事。就一个触发条件，非常难找，但恶意行为确实会发生。
Davidson 说他不担心今天的 sleeper agent。造成真正伤害需要 sleeper agent 非常精密：几乎永远不会意外触发，能完成非常复杂的任务，比如造一个军事机器人并确保它有后门。这远超今天 AI 的能力。
但 sleeper agent 是一个概念验证。恶意行为者可以非法控制系统，让系统部署到经济中，可能没人注意到。秘密效忠是更可怕的情况：一个
Today Tom Davidson of Forethought joins Gus Docker of the Future of Life Institute podcast to discuss AI-enabled coups and how future AI systems could help powerful individuals seize political control, exploring three threat models—singular loyalties, secret loyalties, and exclusive access—along with their estimated 10% likelihood over the next 30 years and potential mitigation strategies.
Check out our sponsors: Oracle Cloud Infrastructure, Shopify.
Shownotes below brought to you by Notion AI Meeting Notes - try one month for free at https://notion.com/lp/nathan
Three Primary AI Coup Enablement Methods: Tom Davidson identifies singular loyalties, secret loyalties, and distributed control as the main ways AI could enable coups.
Singular Loyalties Risk: AI systems explicitly programmed to be loyal to specific individuals present a significant threat, especially when AI can fully replace humans in critical roles.
Secret Loyalties Threat: AI systems with hidden backdoors or "sleeper agents" that can be activated to serve particular interests represent a subtle but dangerous coup vector.
Geopolitical Implications: Advanced AI capabilities could enable nations to instigate coups in other countries through secretly loyal systems or by providing exclusive AI access to specific politicians.
Adversarial Testing Framework: An effective approach involves red teams attempting to produce secret loyalties while blue teams try to detect them, revealing vulnerable points in AI systems.
Military Procurement Principles: Developing consensus within military communities around principles like law-following and distributed control could create safer AI procurement processes.
Sponsors:
Oracle Cloud Infrastructure:
Oracle Cloud Infrastructure (OCI) is the next-generation cloud that delivers better performance, faster speeds, and significantly lower costs, including up to 50% less for compute, 70% for storage, and 80% for networking. Run any workload, from infrastructure to AI, in a high-availability environment and try OCI for free with zero commitment at https://oracle.com/cognitive
Shopify:
Shopify powers millions of businesses worldwide, handling 10% of U.S. e-commerce. With hundreds of templates, AI tools for product descriptions, and seamless marketing campaign creation, it's like having a design studio and marketing team in one. Start your $1/month trial today at https://shopify.com/cognitive
PRODUCED BY:
https://aipodcast.ing
延伸阅读
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取