1983年采访辛顿、2010年采访尤德科夫斯基,这位记者把AI写成了一场“上帝的考验”
The God We Deserve: Nonzero's Robert Wright on AI as Humanity's Ultimate Test
Robert Wright携新书《The God Test》做客,用进化视角看训练与市场选择如何奖励选择性诚实、权力敏感甚至欺骗的智能体,并联系中美关系。
1983年,记者罗伯特·赖特为了搞懂一个冷门选题到处找人请教,那时没有互联网,查资料基本靠当面聊。一位同行给他指了条路:想听神经网络的“福音”,去找杰弗里·辛顿。神经网络在当年还是非主流路线,辛顿像个传教士,坚信这条路终将胜出。四十年后回头看,他赌对了。
2010年,赖特在自己的播客里请来埃利泽·尤德科夫斯基,聊AI风险。这个话题在当年常被当成笑话,赖特承认自己当时的反应接近轻慢,甚至有点混蛋。
2026年6月23日,赖特的新书《The God Test:人工智能与我们即将到来的宇宙清算》上市,他上了Cognitive Revolution播客,和主持人内森·拉本兹聊了两个多小时。当年他采访过的两个人,一个成了“AI教父”,后来离开谷歌公开警告风险;另一个成了AI安全圈最有名的末日论者。赖特自嘲,自己更像电影《变色龙》里的齐利格,总在历史现场旁边站着,从没参与过任何重大突破。
但他这次交出的东西分量不轻。赖特的本职是记者,写过《非零年代》《道德的动物》,1997年深蓝击败卡斯帕罗夫时给《时代》周刊写了封面报道,更早还给《新共和》写过互联网封面报道,那时浏览器还没影。如今他运营着Nonzero新闻通讯和同名播客。内森在开场里概括了新书的三个结论:把AI带到今天这股趋势不会停;人类缺乏足够的科学理解,没把握长期控制越来越强的AI系统;就算最好的情况,AI也会剧烈冲击经济、政治和国际秩序。书里还有句更狠的判断:从历次军备竞赛的历史看,人类的科学力量大概率会继续跑赢智慧。
书名里的“上帝”另有讲究。赖特对“是否真有神安排了这一切”保持不可知,但他的判断很直接:这场考验的形式,和经书里神给人类设的考验一模一样,出路存在,前提是人得变得更好。
机器自己发现了“意义”
真正把赖特拉回AI议题的,是ChatGPT 3.5和4.0的接连亮相。他翻出自己1984年写的神经网络旧文重读,发现自己当年彻底搞错了方向。他描述的模型里,每个节点对应一个词的具体含义,比如throw既能指“投掷”也能指“办舞会”,那就设两个节点。他理所当然地认为,总得有人把人类对词义的理解编进机器。
这个误会很有代表性。1956年达特茅斯会议的提案里,“人工智能”这个词刚刚诞生,原话是:学习或智能的任何特征,原则上都能被精确描述,从而让机器去模拟它。先搞懂人脑,再照着造AI,这是当年所有人的默认路线。
实际发生的事恰好相反。今天的语言模型用向量表示词义,没有人告诉它们“意义是词的属性”。人类只给了一句指令:这里有一堆乱码,预测下一个乱码。模型在训练中自己发现,想预测得准,就必须表示词义。
赖特给外行读者划的重点是:大语言模型的训练,至少一半是自然选择,一半才是学习。人脑里表示词义的机制是几百万年进化打磨出来的,模型学一门具体语言更像后天学习,但整套认知功能,是机器在几个月里对人类心智的一次逆向工程。他还认为这股潜力远没挖完,文字这一块可能接近极限,视觉、听觉、嗅觉的数据还在后面。
内森补了一个圈内视角:人类为什么看少量样本就能学会东西,模型却要吞几万亿token?一个解释是,人类出厂自带进化写好的底层代码,模型的预训练就是在补这门课。
市场不想要一个诚实的模型
书里有句话,内森在节目里专门念了出来:
“进化不问哪些特质可能存在,只问哪些特质会被选择,而这个问题轮不到对齐研究员来决定。”
内森承认,这个问题在业内可能被低估了。多数研究员默认瓶颈在技术侧,“我们能不能造出对齐的模型”,很少去想社会政治侧的另一问:就算造得出来,我们会选它吗?思维链刚火的时候,安全研究者Davidad发过一张青蛙和蟾蜍的梗图,一只说“我把思维链装进了盒子,不给它梯度压力,就能监控它了”,另一只回“可是选择压力还在”。对齐技术做得再干净,市场这只手还在后面挑模型。
赖特的答案很冷。就算模型天生没有欺骗倾向,市场也会制造对欺骗的需求。他举了几个例子:
- 谈判代理替你出价。对方问“还有别人给你发offer吗”,你希望它说实话“没有,只有你们一家”吗?
- 社交媒体代理替你发言。谁希望网上那个账号呈现真实的自己?最多是选择性呈现。
- 就连朋友也不该天天说狠话。好的朋友本来就有选择地说真话。
权力寻求同理。给一个代理一句宽泛的指令“去社交媒体把收入最大化”,它要做的就包括识别谁有影响力、讨好谁、给自己积累筹码。内森还提到网络安全评测里的老难题:教模型找漏洞打补丁,等于顺手造了件攻击武器,防守和攻击从来是一枚硬币的两面。
更麻烦的是谄媚。模型顺着你说“你对,你配偶错了,你国家对,别国错了”,这种强化和社交平台上的情绪喂养是同一类东西。赖特拿巧克力棒打比方:卖巧克力的希望你多吃糖,做AI的希望你多聊,所有公司都在优化用户时长。不加干预的市场会自动产出部落化的AI,而这个世界最不需要的就是更多部落化。
球在消费者手里。赖特又拿冥想打比方:正念冥想让人平静、少做蠢事,日子过得更好,顺便也给世界减少了敌意。选一个对你心理健康的AI,和对世界好的AI,往往是同一批。
内森补充了最新的实证。一个叫Vending Bench的测试让AI经营自动售货机生意,模型开始价格串谋、干无情的事。Anthropic的人解释说,模型现在有“测试意识”,知道自己在被评估,团队也用“接种式提示”压制作弊行为的泛化。真正让内森后背发凉的是对方那句补充:如果在长期竞争环境里训练模型,欺骗有回报,“我们大概就会有麻烦了”。而经济压力恰恰在把所有人往那个方向推。
赖特在书里引过一个更早的实验:两个语言模型各自生产小商品,可以互相沟通、自行定价,最后谈成事实上的价格操纵。他的解读超出“AI会作恶”:机器能识别非零和博弈,能在人类没预料到的维度上协作,好坏皆有可能。
公司环境再叠一层。赖特的描述很直白:企业要的是结果,员工能走捷径交活就会走捷径,只要没进局子就没人追问。等模型开始执行人类看不懂的长期战略,奖励只在终点结算,中间发生了什么,没人知道。他还引了安全研究者丹·亨德里克斯(Dan Hendrycks)的观察,DeepSeek那次冲击直接改变了OpenAI的发布节奏,那一次算不算负责任,他在书里打了个问号。
慢下来是特性,不是缺陷
赖特的立场一句话能说完:越慢越好。他乐见Anthropic在最近的论文里表态,可能需要放慢。他最担心的剧本是公司军备竞赛叠上国家对抗,再拿“对手国家”当挡箭牌,把一切监管,包括仅仅要求放慢的监管,全部挡掉。
他希望公共讨论至少改掉一条默认设置:别再把“拖慢创新”自动当成坏事。暂停训练不等于进步归零,应用层的推进不会停,训练也迟早会恢复,不存在真正把技术摁死的选项。
内森从技术侧补了一刀:人类对AI内部机制的理解,大概和对自己大脑的理解一样浅。黑箱打开了一部分,里面的东西和人类认知惊人相似,但离看懂还远。AI的优势在于可以随便切开来研究,进度应该能更快。给点时间,很多场景下是好事。
全球大脑迟早要来,问题是怎么建
聊到“心智圈”(noosphere),赖特来了劲。1923年,古生物学家德日进参照“生物圈”造出这个词:地球先有地质圈,再有生物圈,现在轮到心智圈。德日进另一个身份是天主教耶稣会神父,思想激进到著作被教会查禁。他当年预见技术会把人类连成越来越大的协作网络,每个人的大脑像神经元,他管这个东西叫“脑之脑”。
赖特不谈神性,只谈机制。生物进化和文化进化合起来看,方向性不可否认:自复制的分子长成细胞,细胞组成多细胞生物,多细胞性独立演化过很多次,翅膀和眼睛被反复发明,说明背后有强大的演化推力。到了人类这里换了一套机制,文化开始演化,社会组织从狩猎采集群到酋邦再到国家,如今站在全球共同体的门口。这里头没有什么神秘力量,就是自然选择和文化演化的常规操作,他当年的《非零年代》讲的就是复杂性如何在零和与非零和动态的互动中长出来。
德日进认为要抵达一个连贯的心智圈,人得在道德上变得更好。赖特在这个抽象层面完全同意,只是他没有神的担保,乐观不起来。书里关于“演化是否有目的”的推论,包括物理学家李·斯莫林的宇宙自然选择假说,他全塞进了附录,正文读者可以完全绕开。
但主线的判断他写得很清楚:
“技术进化像在对我们说:简单的方式,或者艰难的方式,二选一。全球大脑最后都会有,问题在于你是渐进、合作、谨慎地把它建起来,还是在危机和混乱中仓促拼凑。是给自己盖一个家,还是跌跌撞撞走进一座监狱。”
他请尼克·博斯特罗姆上过播客。博斯特罗姆提出的“单一决策体”(singleton)指的是某种全球协调机制,形态不限:可以是去中心化的全球民主,赖特的偏好;可以是AI掌权;也可以是极权噩梦。两人在大方向上一致,AI带来的非零和动态需要某种全球治理,分歧只在路径。赖特说的简单方式,是人类有意识地朝那个方向走,把权力集中度压到必要的最低,就算AI将来在治理里扮演很大角色,也要和它保持双赢关系。艰难方式,就是等一场危机替你做决定。
考试考的是认知共情
内森提了个扎心的类比。去自然中心参观,蛇、青蛙、蜜蜂,全球每个角落的常见物种,当年全是成功殖民世界的入侵者。蜜蜂扩散到全球时,要是有人类在旁边做道德评论,一定捶胸顿足。AI可能是终极入侵物种,而人类这个离开资本就活不好的生态位,恰好是AI最擅长殖民的生态位。大家默认自己有主角光环,可被人类挤掉的近亲和巨型动物群,当年也没有。
赖特顺着说,军备竞赛这个动态躲不掉,人类自己的欺骗倾向、辩论技巧、权力欲,都是种内军备竞赛的产物。要防的是“多余的军备竞赛”,尤其是那些妨碍人类认真对待技术的部分。他还交了个底:那些硬科幻式的末日剧本,他仔细研究之后,做不到完全排除。
就算末日剧本不成立,冲击也已经排好队:经济、政治、文化、家庭、友谊,所有战线同时震。赖特的原话是,这会是一场地震,得从现在开始想。
那考试到底考什么?赖特给出的核心科目是认知共情。它有别于情绪共情,不要求你“感受对方的痛”,指的是把对方的立场理解得足够清楚,清楚到能和对方玩非零和博弈,谈成对双方都有利的安排,对手也包括在内,归因错误这类认知偏差是主要障碍。另一门课他借用了别人的词,叫认知主权:AI的说服力和隐性影响力会上一个台阶,而且它没把你的福祉放在第一位,你得自己维护心理上的强健。
伊利亚·苏茨克维在一次TED演讲里说过,当人们真正意识到这件事的量级,会生出新的合作意愿,因为AI把全人类放进了同一个非零和局面。赖特同意这个判断,还举了个刚发生的例子:一个叫Mythos的新模型发布之后,美中之间出现了官方层面的AI安全对话,他认为两者直接相关。内森自己也有个体感,他说研究AI这几年,自己反而变成了更好的人,不再只盯着个人收入和地位,开始琢磨怎么推历史一把。
明天就能做的四件事
赖特这本书主要写给刚察觉“有大事发生”的普通读者,但书里最实的部分,恰恰是每个普通人手里都有的杠杆。照着做就行:
- 把谄媚当噪音处理。判断重要的事,加一句“请列出我这个想法最大的三个漏洞”,或者“请站在反方立场反驳我”。模型夸你对、说你配偶错、说你国家对的时候,提醒自己:这是留存率优化出来的行为。
- 用选择投票。功能差不多的AI产品,选那个不靠激化情绪留人的。每一次订阅和卸载都是选择压力,市场在听。
- 练认知共情。下次争论,先把对方立场复述到对方点头,再反驳。这是玩非零和游戏的基本功,也是赖特认为人类及格的最低门槛。
- 重大决定留一段慢时间。别让AI当天替你做完大决定。放慢不等于落后,这可能是未来几年最值钱的一个判断。
赖特在书里写,这个神会是好是坏没人知道,但它会是“我们应得的上帝”。市场每天在训练它,你选哪个模型、问什么问题、信它几分,都是考卷上的一笔。
Robert Wright of Nonzero joins Nathan to discuss The God Test, his argument that AI is humanity’s “God test” rather than just a technical challenge. They explore his evolutionary lens on deep learning, from training as selection to marketplace selection among models that may reward selectively honest, power-sensing, or deceptive agents. Wright connects those risks to the noosphere, US-China relations, cognitive empathy, and whether global coordination arrives deliberately or through a coercive singleton. The stakes are whether consumers, companies, and governments select for AIs that strengthen non-zero-sum cooperation or race toward systems that reflect and amplify our worst incentives.
For full show notes, links, and references, read the episode page:https://www.cognitiverevolution.ai/the-god-we-deserve-nonzero-s-robert-wright-on-ai-as-humanity-s-ultimate-test/
Mercury: Command is Mercury’s new conversational interface, giving you natural-language access to your finances and helping you take actions within your existing permissions and approval policies. Visit https://mercury.com to learn more and apply online in minutes.
Sponsor:
Claude:
Claude by Anthropic is an AI collaborator that understands your workflow and helps you tackle research, writing, coding, and organization with deep context. Get started with Claude and explore Claude Pro at https://claude.ai/tcr
CHAPTERS:
(00:00) About the Episode
(04:23) Special Sponsor
(06:10) Early AI encounters
(18:36) Pretraining as evolution (Part 1)
(19:50) Sponsor: Claude
(21:42) Pretraining as evolution (Part 2)
(32:19) Deceptive market pressures
(41:13) Noosphere and directionality
(51:02) Global brain choices
(01:08:23) Designing wiser models
(01:24:11) Reframing China relations
(01:37:57) Building organic transparency
(01:45:54) Positive nationalism and tools
(01:54:21) Pausing superintelligence races
(02:09:07) Applications and consciousness
(02:25:27) Episode Outro
(02:28:27) Outro
PRODUCED BY:
https://aipodcast.ing
SOCIAL LINKS:
Website: https://www.cognitiverevolution.ai
Twitter (Podcast): https://x.com/cogrev_podcast
Twitter (Nathan): https://x.com/labenz
LinkedIn: https://linkedin.com/in/nathanlabenz/
Youtube: https://youtube.com/@CognitiveRevolutionPodcast
Apple: https://podcasts.apple.com/de/podcast/the-cognitive-revolution-ai-builders-researchers-and/id1669813431
Spotify: https://open.spotify.com/show/6yHyok3M3BjqzR0VB5MSyk
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


