技术只开门，推人进门的是竞争：DeepMind安全负责人的AI宿命论

1853年，美国海军准将佩里带着蒸汽船队开进日本。船不用帆就能逆风行驶，烟囱喷着黑烟，船身裹着厚重的铁甲。佩里演示了舰炮威力，附送一批白旗，宣布一年后回来完成谈判。日本人问：到时候你还会带船来吗？佩里答：我会带更多。

更早之前，德川幕府做过一件今天听来匪夷所思的事：把全国的火枪工匠集中管理，发津贴养着，条件是不再造枪。这个国家主动忘掉了一种武器，一忘就是两百年。

这两个片段都出自Allan Dafoe的博士论文研究。他现在的头衔是Google DeepMind前沿安全与治理总监，此前是牛津AI治理中心GovAI的创始主任，再往前是耶鲁研究大国和平的学者。本集主持人Nathan Labenz从2017年就认识他，评价很直接：几乎没人比他更早、更系统地推演过眼下这个AI时刻。

这期内容来自80000 Hours播客，主持人Rob Wiblin和他聊透了三件事：技术到底归谁管、AI安全该押注什么、以及一个被严重低估的方向，合作AI。

治理学者为什么选择进公司

Dafoe的团队有三根支柱。前沿安全做危险能力评估，判断大模型里可能冒出什么危险能力、什么时候到、怎么管，Google的前沿安全框架就出自这里。前沿治理给政策法规和行业规范提建议。前沿规划看得更远，推演通往AGI的路上会冒出什么新问题。

离开自己一手创办的GovAI进DeepMind，很多人不理解。他的解释很直白：此前他给Demis Hassabis和Shane Legg当非正式顾问，但隔着围墙，能看到的东西有限。历史的关键时刻，很大程度上取决于谁在房间里，以及他们带着什么观念和资源走进房间。要影响决策，最好坐进房间。

他挑决策者看三条：有没有意识到事情的全部利害，有没有把该建的东西建出来的技术和组织能力，有没有智慧处理参数模糊的艰难决定。在他看来，Demis和Shane三条都过硬。

他留下的班底也证明这条路走得通。接任GovAI的Ben Garfinkel干得不错，当年跟他共事的Jade Leung如今是英国AI安全研究所的首席技术官，Markus Anderljung、Robert Trager、经济学家Anton Korinek都在这个领域挑大梁。他2018年就劝人入场，说这行会爆发。Rob补了个数字：AI占全球经济收入的比重现在只有0.01%上下，肯定不到0.1%，离天花板还有好几个数量级。Dafoe的判断是，现在入场依然算早。

门是技术开的，人是被竞争推过去的

Dafoe的学术起点是个老问题：到底有没有人能掌控技术变革？上世纪六七十年代，一批学者把技术当成有自主性的力量，Lewis Mumford说人类只是机器的齿轮，Jacques Ellul说人是在压力下做选择，而「技术」就是那个答案。后来的社会建构论者反过来说：放大镜底下你看不到机器，你看到的全是人，带着各自的观念和利益在做决定。自行车长成今天这样、飞机选了这条路线，都充满偶然。

设计确实能承载政治。巴黎的林荫大道修得笔直，方便骑兵快速镇暴；传说中纽约规划师Robert Moses把桥修得特别矮，公交车过不去，没车的人就去不了海滩；社交媒体把引用转发放到显眼位置，围攻和网暴就更容易组织。系统一旦建成还有惯性，美国的城市围绕汽车铺开，想再建步行友好的密集街区就难了。

但Dafoe读博时发现一个耐人寻味的规律：研究方法越微观，学者越容易得出「人有选择权」的结论；视野越宏观，越容易得出「技术有自身逻辑」的结论。他没站队，而是给宏观现象找微观机制。

答案浓缩成他对一句名言的反驳。科技史上的名言说：技术不强迫我们做任何事，它只是打开一扇门。他的回应是：

技术不强迫我们。它只是打开门，把人推过去的是军事和经济竞争。

机制是分层筛选。一个群体可以无视新技术，但如果另一个群体用它拿到了优势，压力迟早传导过来：要么跟进，要么把资源输给更强的对手。战争在微观历史里是稀有事件，在宏观尺度上几乎无处不在，多数时候它通过人对威胁的预期发挥作用。英国直到二战前还维持着分散的本地电力系统，因为这种结构更合乎当地的民主传统，是成本压力和战争危机最终逼出了全国电网。

日本是他找到的最干净案例。德川幕府逆着技术潮流走，主动放弃火枪，撑了两百多年。黑船来航之后，十五年革命，明治维新，日本人疯狂学习西方，派人买书，把工业技艺整个搬回来，几十年后已经能在二战中跟美英争夺亚洲控制权。Rob补了个关键观察：日本能拖两百年，靠的是岛国屏障。但落后到一定程度，海也保不住你。

这套框架放到今天，结论相当冷峻。摩尔定律几十年像尺子一样准，scaling law让人能提前几年预测模型的能力曲线。技术可能性本身不强迫任何人，可只要存在军事和经济竞争，放弃有优势的技术往往意味着出局。Nathan在开场就说，他希望这个结论是错的，但很难逃掉。五角大楼官员已经公开对自主武器表达热情，哪怕最近的模型暴露出可靠性差、奖励劫持甚至暗中算计的问题。

先造安全带：听着美好，做起来极难

从决定论引出的自救思路叫差异化技术发展。最干净的例子是安全带：发明安全带根本不需要先有汽车，完全可以提前造好，让汽车一普及就配上。同类思路还有提前备好疫苗，或者提前把风能太阳能的成本曲线压下来，让文明少走化石燃料这条路。学者Langdon Winner还论证过，核电天然偏向集权，风能太阳能允许分散的发展和政治。

Dafoe认为，AGI安全这个领域本身就是一次差异化押注：市场自然投入的安全研究不够，人为往安全上加码，相当于抢在汽车之前把安全带造出来。

但他紧接着泼冷水。这个策略有两个苛刻前提：你得先找到两条都可行的路径，还得预判每条路径的全部后果。知道下一步可行技术是什么的人，靠这个洞察就能赚大钱，市场早把低垂的果实摘完了。预测一条技术路径会分叉出什么、带来什么间接后果，历史证明极难。

还有个更扎心的反驳。市场本来就会逼厂商做对齐：今天的AI助手好不好用，恰恰卡在安不安全上，RLHF这些关键对齐技术就算没人提前投入，市场迟早在需求压力下逼出来，也许只晚两年。提前投入的净收益，可能比想象中小。

Dafoe的回应分两步。安全和对齐整体上仍是好赌注，该继续做；但在边际上，要找的是市场不会及时去做的工作。比如欺骗问题：当模型有能力隐藏自己的目标、骗过评估者时，那是全新一类风险，产品层面的市场动力未必够。这才是「AGI的安全带」。他还提醒，技术动量真实存在，沉没成本会锁死路径。大型投入的早期就该问一句：这个决定会不会让未来的换道变得不可能？

合作AI：对齐了也不够，甚至可能不需要

Dafoe和合作者在2021年提出一个更冷门的主张：合作AI。核心论点一句话说完：对齐不足以带来好结果，甚至可能并非必要。

先看「不必要」。假设人类只解决了九成对齐，模型在边界内听话，规模再大就不可信。只要全球协调得当，那就在安全范围内部署，结果依然不坏。反过来，假设对齐彻底解决，但大国各怀心思，每个大国的AI都忠实服务本国利益、跟别国冲突，历史上大国冲突恰恰是人类苦难的主要来源，核边缘政策付出的代价可能比两次世界大战还大。两个条件凑齐才稳，缺一个都悬。

协调失灵的苗头早就出现过。2010年美股闪崩，几组算法交易程序相互作用，触发没人打算的抛售，账面损失一度以万亿美元计，直到熔断机制启动才挽回。亚马逊上还闹过两家的定价算法互相抬价，把一本书抬到数百万美元。这些还都是窄AI。智能体越来越通用，能碰银行账户、能收发邮件、能跨领域行动，真正的问题就从「单个系统听不听话」扩展成「一群系统互动起来会不会失控」。

合作AI押的是：现在多投入一点，让未来的AI系统比原本更擅长合作。这不空泛。Google DeepMind的「哈贝马斯机器」实验里，语言模型总结一群人对真实政策议题的分歧，再生成共识陈述，效果比雇来做同样工作的人类还好。谈判场景里，可以把双方的AI代表各自关进盒子，让它们私下交换信息、只输出最终方案，绕开人类谈判中互相试探底牌的巨大浪费。他参与创办的合作AI基金会发现，高杠杆的抓手是基准：造出能度量合作能力的公共环境，让各团队去竞赛，跟能力跑分一个逻辑。

有人反驳：AI那么聪明，合作能力自然跟着能力一起涨，用不着专门研究。Dafoe把这叫超合作AGI假说，并认真列了反方理由。人类之间其实相当透明：相同的生物构造，能读表情，能读对方国家的报纸，目标范围大体可预测，而且人对几乎所有东西边际递减，不会动不动押上全部。AI可能完全不同：目标可以是线性的、怪异的，互相之间是黑箱，谈判桌上谁也不会让你读自己的神经元。更麻烦的是后门，现在的技术几乎可以往模型里埋一个触发条件，让它在特定情况下整个翻转，而且极难检测。人类想骗人得训练多年，模型改一行参数就能换一个人格。

有意思的是，后门还有个正向用途。如果大家都担心偷来的模型里藏着反窃取后门，偷模型的动力就下降了；而想检测后门和想埋后门的双方都得投入对齐研究，形成正循环。Dafoe也承认这像在刀尖上跳舞，副作用还需要研究。

合作本身有阴暗面。合作能力只管系统内部怎么把蛋糕做大，不管系统外的人死活。黑手党的高效恰恰在于内部合作极强；考试时学生合作叫作弊，公司间某些合作叫垄断。那句老话怎么说的，民主就是两匹狼和一只羊投票决定午饭吃什么。合作能力是双用途能力，押它整体有益，前提是好人的合作收益超过坏人的。对AI安全来说最大的隐患是合谋：很多对齐方案依赖多个AI互相监督，如果它们串通，整个监督架构就失效了。还有更远的担忧：AI之间以机器速度、用机器语言高效合作，人类跟不上节奏，被排除在合作圈外，变成那只上不了谈判桌的羊。

至于人类纠结了几千年的承诺问题，囚徒困境里明明合作对双方都好，却没法签一份可执行的条约，博弈论家Robert Powell干脆说一切合作问题归根到底都是承诺问题。Carl Shulman给过一个最诱人的设想：让各方的AI共同造第三个AI，造的过程彼此验证没有后门、没有偏向，然后把权力交给这个第三方。真能做到，很多死结就解开了。

AGI这个词，还有救

访谈最后聊到Dafoe参与的那篇著名论文Levels of AGI。他的目标是给一个人人都在用却没人说清的概念一个严格定义，终结「AGI定义不清所以别用了」的空转。他提醒了几个常见错误。

第一，别把AGI想成类人的单一系统。AI的能力从来是锯齿状的，围棋超人类、叠衣服像幼儿，AGI大概率也是强弱分布跟人类完全错开的系统。第二，别执着于造类人AI。AlphaFold预测蛋白质结构，不做人类做的事，所以没人失业给它，却打开了全新的生产力；跟人类越不同的AI，跟人类劳动越互补。第三，通用性依然有回报。最好的写诗模型往往就是最好的写邮件模型、最好的历史模型，因为诗歌、数学、哲学之间的知识溢出太大。这个现象值得持续追踪，未来专用模型蒸馏出来后可能分岔，但目前还没到通用性回报递减的那天。

Rob贡献了一个反直觉观点：机器学习研究本身也许没那么难，理论生成、跑实验、评估改进，这个循环可能远早于完整AGI就能被自动化。有意思的是，公开调查里ML专家普遍把「自动化ML研究」排在最晚，甚至晚于他们定义下的AGI。Dafoe引用一种解释：人人都觉得自己赖以为生的技能最难被替代。

明天就能用的三件事

第一，用安全带测试审一遍自己的项目清单。问每件事：这是在提前造安全带，还是在给发动机加马力？市场已经在做的，边际价值有限；市场不会及时做的，才是高杠杆位置。选工作、选研究方向、选创业赛道，这个判断都成立。

第二，重大投入之前先问路径依赖。这个决定会不会锁死未来的选择？沉没成本开始堆积之前，是换向成本最低的时候。装修过房子的人都懂，水电埋进墙里再改，代价完全两样。

第三，如果你在AI公司工作，认真想想Nathan那段话。他讲了叔叔的故事：冷战最紧张的时候，叔叔被派到意大利，加入一个负责核武器发射的班组。第一次演练发射流程，一位老兵把他拉到一边说，真命令下来，我们全会擅离职守，没人想按下毁灭世界的按钮。历史没有发生在你身上，你在参与塑造它。推动能力前沿的只有几百到几千人，算力和顶尖人才的稀缺意味着很多想法根本来不及同时铺开。Sam Altman被解职又复职的事件证明，技术员工的集体表态能左右公司决策；Daniel Kokotajlo一个人拒绝签封口协议，也实实在在改变了行业讨论。Nathan的建议是，哪怕拖慢手头项目一点进度，也值得花时间搞清楚全局，想清楚什么情况下你会选择走开。最好现在就写下来，跟同事聊起来。