反乌托邦张口就来,乌托邦一部都想不出:博斯特罗姆拆解「被解决的世界」
The Path to Utopia, with Nick Bostrom – from Clearer Thinking with Spencer Greenberg
哲学家尼克·博斯特罗姆与斯宾塞·格林伯格对谈新书深度乌托邦,讨论先进 AI 如何改变人类的目标与意义。
「1984」「美丽新世界」「使女的故事」,随便找个人,反乌托邦作品能一口气报出好几部。换成乌托邦,多数人连一部都举不出来。
这是牛津哲学家尼克·博斯特罗姆(Nick Bostrom)与数学家斯宾塞·格林伯格(Spencer Greenberg)对谈时抛出的第一个观察。这期节目 2024 年 9 月 11 日由 Cognitive Revolution 转载,原出自 Clearer Thinking with Spencer Greenberg。博斯特罗姆就是 2014 年写《超级智能》的那位,当年「比人类聪明的机器」还像科幻设定,他已经在逐条推演其中的灭绝风险。
十年过去,他的新书掉了个头:《深度乌托邦:已解决世界中的生命与意义》(Deep Utopia: Life and Meaning in a Solved World)。这回的问题更别扭:假如 AI 把一切都搞定,人类过上了好日子,然后呢?
乌托邦难产,因为它是「整容手术」
博斯特罗姆承认,历史上被认真尝试过的乌托邦,基本没有一个让人想住进去。它们太顺滑、太甜腻,像塑料玩具。他把毛病比作整容:脸上有个大疣子,切掉,颜值上升;可要是不断加码「改进」,最后就进了迈克尔·杰克逊的境地。
格林伯格补了一个观察:人们对「不想要什么」共识很高,少生病、少贫穷、童年少受苦,全票通过。一问「想要什么样的社会」,是人人随时爽着,还是继续奋斗,还是分成一万个小社会各过各的,立刻吵成一团。
更麻烦的是,哪怕只给自己一个人设计乌托邦,都已经是道难题。博斯特罗姆的解释是:人的目标和价值感全部锚定在当前位置上。手头的项目、焦虑、待办清单,都建立在「此时此地」这个前提上。把场景整个抽掉,这些目标集体失效,人像站在空地上,看的是别人的生活。
他给这种处境起了一个比喻:昆虫的外骨骼。交房租、刷牙、赶项目,这些「必须做的事」撑起了生活的形状。书里的原话更狠:
昆虫有外骨骼把柔软的身体撑出形状,我们的灵魂也有一副外骨骼,材料是那些工具性必需品。
假如有一天进入他所说的「后工具时代」,必需品全部消失,问题就变成:灵魂靠什么立起来?是瘫成一团满足的「快乐果冻」,还是另有东西撑住结构?他在书里造了两个词来描述那个状态,「已解决的世界」和「塑料世界」,时间点大概在机器智能转型顺利完成后不久。
几百年前的中世纪农民,幻想的天堂就是流奶与蜜之地:管饱、能歇、天天宴席,光想想就够震撼。格林伯格讲了个朋友的故事:她探访一个部落,问他们的来世什么样,翻译转述说,跟现在差不多,就是奶牛产奶更多。而今天,冰箱塞满食物、每周有双休的人已经很多,这些人体验到的并非天堂,反而常常是另一副面孔:太容易得到带来的无聊、倦怠和没劲。
凯恩斯猜错了工时,贪婪战胜了懒惰
生产率涨了几十年,人为什么没怎么少干活?凯恩斯在差不多一百年前写过一篇文章,按当时生产率的增速外推,预测一百年后人们会富 4 到 8 倍,几乎不用工作,然后发愁一天干什么。结果呢?我们确实比那时富得多,工时只缩短了大约四分之一。多出来的生产率,一部分换成了闲暇,周末、更长的受教育期、产假陪产假、更早退休;更大的一块换成了消费。博斯特罗姆的总结很干脆:贪婪战胜了懒惰。而消费里很大一部分,花在了「位置性商品」上。
位置性商品的价值全靠比较。两个亿万富翁都想要全世界最大的游艇,一个 200 米,另一个造了 210 米,第一个人就得升级到 230 米。经济再怎么增长,也不可能让两个人同时满足这个愿望,这是纯粹的零和竞赛。
「被解决的世界」并不假设人没有欲望,博斯特罗姆肯定有人胃口无限。关键在于,当 AI 干什么都比人又好又便宜,想多挣钱也没处挣,人类的劳动不再被需要,社会会逼近全面失业。格林伯格追问:这条路非得经过 AI 吗?博斯特罗姆说理论上可以,给每项智力任务单独写一个非 AI 的自动化软件,时间够长也许能凑齐。但现实里,造一个能学会所有任务的 AI,比造一万个专用软件容易得多,所以路大概率还是 AI。
先消失的是「被需要」
乌托邦里最先被掏空的价值,博斯特罗姆点名了「目的」。今天很多人靠这些撑着:养家糊口的自豪感、对社会有点贡献、把自己练壮、把家重新装修。这些小项目构成了生活的很大一块。假如一切随叫随到,伸手就有,生活可能滑向一种没有目的的状态,因为再没有什么事情非「我」不可。
格林伯格讲了个细节。一位朋友最近说,她还是更愿意找格林伯格聊自己的烦恼,但她另一些朋友已经更愿意找 AI。这位朋友自己也承认,这个偏好未必撑得过明年。博斯特罗姆把它当成一个信号:当 AI 成为更好的倾诉对象,人就少了一条「对别人有用」的路。把这条逻辑推广到所有领域,就能提前尝到「被解决世界」的滋味。
怎么搭回来?博斯特罗姆在书里做了个思想实验:从白板开始,往乌托邦里一块一块加东西。
第一块是快乐。很多人一听「纯享乐」就皱眉,脑补一群瘫在暗房床垫上的瘾君子。博斯特罗姆说,先别急着嗤之以鼻,技术成熟期所能提供的快乐强度远超现在的任何体验,真尝过一口,很多鄙视享乐主义的人会改主意。
第二块是体验的质地。光有快感不够,还要往里装内容:凝视美、理解真理、敬佩善。传统宗教里的天堂就是这么设计的,凝视完美的善,由此生出爱与幸福。快乐加内容,这个组合在乌托邦里可以拉到极高的程度。
第三块是人造目的。人类其实早就在这么干了:打高尔夫,就是给自己设一个任意目标,只用一根杆,把球打进 18 个洞。规则里刻意排除了「用手把球放进洞」这条捷径。乌托邦里的人同样可以自设目标,而且必须把「允许使用的手段」写进目标里,否则一句「AI 帮我办了」,游戏当场结束。
第四块是真实目的。人造目标总归有点假,有没有「真需要我做」的事?博斯特罗姆给了一个精巧的构造:假设 A 在乎 B,希望 B 的愿望被满足;而 B 的愿望恰好是「A 亲手做某件事」。这时 A 就有了一个真实目的,因为走捷径本身会让 B 的愿望落空。格林伯格举了个更贴身的例子:给朋友婚礼写致辞。让 AI 代写一篇再漂亮,请你的人也会失望,因为这份心意恰恰要求亲手完成。传统也一样,派一群机器人去跳仪式舞,传统就算断掉了。真实目的藏在人与人的偏好纠缠里,这类纠缠没法被技术一键清空。
第五块,博斯特罗姆叫它「安静的价值」。白天出门看不见星星,星星一直都在,只是太阳太亮。当下生活里,紧迫的苦难和不义就是那颗太阳,压住了成片的微弱价值:敬奉祖先、延续传统、把人生活出好看的形状、在人与人的关系里讲究美。一旦紧迫的道德需求被清空,这片星群就会显形,人也该像夜里放大的瞳孔一样,把更多注意力分给它们。他还有个延伸判断:到那时,生活本身会更像一件艺术品,一件事的美学意义取决于谁做的、为什么做、用什么手段,光看成品不够。
五块加完,画面就不一样了:欣赏着美、打着游戏、还顺带敬着祖先的人生,总比暗房床垫上的快乐果冻强。博斯特罗姆的乌托邦,到这里才算有个雏形。
意识、AI 伴侣和一代人的分歧
聊到关系,博斯特罗姆判断,未来还能留下的自然目的,大部分会来自社会文化纠缠:他人、传统、社群。这里立刻撞上现实问题。社交陪伴机器人正在到来,多模态、有形象、有声音。假如 AI 冻结在当前水平,人会花越来越多时间和它们相处吗?这是好事还是坏事?
多数人的第一反应是「当然该跟真人待着」。博斯特罗姆怀疑这只是代际滤镜:老一辈觉得跟 AI 聊天不对劲,在陪伴机器人身边长大的一代,也许反过来觉得老一辈有执念。在这些问题上,形成一个超越个人成长环境的、触及价值基岩的判断,非常难。
格林伯格亮出自己的底线:对方有没有意识,对他很重要。跟没有内在体验的东西深交,意义会被抽干。博斯特罗姆给了两层回应。第一层,习惯成自然,就像哲学里的「意识取消主义者」,嘴上说意识不存在,日子照过,时间久了人不会一直盯着这个问题。第二层,这些数字伴侣本身可能就是有意识的,而且被设计成比大多数人更会聊天、更体贴,就像人群中总有人特别招人喜欢。他特意声明:自己没在推销这个未来,只是拒绝停在第一反应的「恶心」上,要蹲在不适里看清楚,它到底是道理,还是偏见。
三道坎、一个项圈,和瓮里的黑球
整场对谈里,博斯特罗姆反复把丑话说在前面:这本书刻意悬置了路上的坑,只为问出「然后呢」。坑至少有三个。
- 对齐问题:让 AI 做人想要的,不做人不想要的。他把它归为技术问题,靠数学和计算机科学的聪明人解决。
- 治理问题:假设 AI 已对齐,人拿它干坏事怎么办。这是持续的政治工程,没有一劳永逸的巧答案,目标至少是让善用压倒滥用。治理和对齐还互相咬合:可能需要监管和监督,来保证对齐方案被及时做出来、用上去。
- 数字心智的伦理:未来不只要对人类好,还要对动物、可能对某些数字心智好。先靠哲学和计算机科学判断哪些心智有什么道德地位,再靠同理心和治理把结论执行下去。
这本书的写法也特别,博斯特罗姆说它没有「论点加论证」的骨架,更像一场设计出来的体验,把读者放进一个位置,让人带着开放和善意自己想。书里还藏着一个「秘密目的」:给将来真正要坐下来决定「人类想要什么」的那些人,不管是 AI 实验室、政府,还是全人类的商议过程,留一本预习材料,既配上概念,也配上一种心态:善意的慷慨、开放、带点玩心的沉思。
谈到全球协调,他提过自己的另一个概念「单一实体」(singleton),指最高层面完成协调的世界,最可能的实现路径还是 AI 转型:要么某个行动者攒出压倒性力量,要么 AI 让协调本身变容易。至于今天能推的具体杠杆,他的答案有点泄气:零碎的小改进有一些,真省力的办法,「要是有,早就被人做了」。
协调绕不开他那篇《脆弱世界假说》。论文里有个叫「自由项圈」的装置:戴在脖子上的监控器,录下佩戴者听到的一切,配上全向摄像头,实时上传到「自由办公室」。他承认名字就是故意起得这么奥威尔,好让人警觉。但他同时判断,透明度的上升拦不住:从通话记录、社交媒体,到用当前的 AI 对所有人的言论做大规模情感分析,再接一套社会信用评分,翻出一个人几十年前说过的错话降其信誉,这条技术链路今天已经齐了。
那有没有不吓人的版本?博斯特罗姆拿小村庄和以色列的基布兹打比方:人人知根知底,骗子骗完一个就得换地方,前科摆在那。放大到全世界,也许是一个没有欺诈、当不了混蛋、做好事有回报的世界。他坦白了两层态度:直觉上,他站在那些怼体制的朋克一边;认真推演,他承认现有的政治学和社会科学算不出答案,自己在这个问题上基本是不可知论者。
黑球问题也绕不开。《脆弱世界假说》把技术进步比作从瓮里摸球,白球利大于弊,灰球利害参半,黑球直接终结文明。博斯特罗姆估计,AI 时间线不长,假如真有黑球,最可能出自中等水平的 AI:一个生物武器设计工具,或者监控加自动化宣传搅动出的社会崩坏。AI 在存在性风险里地位特殊,它既是最大的风险源之一,又是唯一可能替人类挡住其他所有风险的东西。他还提醒,「存在性灾难」这个词本身带价值判断:人类以现在的模样原封不动地延续一百万年,算不上多好的结局;回形针最大化器的世界,同样浪费了价值的可能。
模拟、道德议会,和明天能做的事
快问快答环节信息量不小。《超级智能》出版后经历了 ChatGPT 时代,博斯特罗姆认为大框架依然成立,只是细节变了:AI 出人意料地拟人,想从大语言模型身上拿到好答案,居然得先给它打气,「一步步想,这很重要,我的工作就靠你了」。这套话术放在二十年前,会被当成把 AI 拟人化的笑话。
2003 年提出模拟论证时,问的人不少,他一个数都没给过,现在只说这个概率「略微涨了一点」。虚拟现实的分辨率、沉浸式游戏,让人更容易设想逼真模拟的终点,从现在到能跑祖先模拟之间,「下车」的机会比二十年前少多了。这个信念没改变他的日常安排,改变的是姿态:比起道金斯式「人死如灯灭」的笃定,模拟假说打开了太多可能,嵌套的模拟、底层现实、形形色色的来世。知道得少,就少装知道,这是他从中提炼出的认识论谦卑,几乎带点灵性。
元伦理学部分,他拒绝一切主义标签,习惯让多种立场同时悬在脑子里,像叠加态。他写了一篇笔记体的文章《伦理山的登山大本营》,还提出过「道德议会」:把脑子里每个够得着的道德理论,按自己赋予的概率派代表进一个假想议会,代表们辩论、妥协,最后按议会的决议行事。一个概率不高但在这件事上特别较真的理论,可以在这件事上胜出,作为交换,它在别的事上让步。这个模型比认死一个理论更能压低狂热的风险。
对普通读者,这场对谈至少留下三件明天就能做的事。
- 做一次「乌托邦练习」:写下理想社会的样子,规则是禁止只列「现在减去某些坏事」,「没有白血病的世界」这类送分题不算数。写得出来还是写不出来,本身就是对谈里最扎心的测验。
- 列一份「真实目的清单」:找出那些就算 AI 能代劳、自己也绝不肯外包的事,亲手给朋友写婚礼致辞、陪孩子搭积木、替长辈续一段家谱。这些技术清不掉的偏好纠缠,值得主动多攒几件。
- 下次遇到两难决定,试试道德议会:把心里几个互相打架的价值各记一票,让它们讨价还价,别让嗓门最大的那个直接拍板。
主持人内森·拉本兹在转发这期节目时说,他常讲世界上最稀缺的资源是对未来的积极愿景。博斯特罗姆这本书没给答案,它做的是把问题磨锋利,然后递到每个人手里。至于答案,按他的说法,得由将来坐在商议桌前的那些人,带着合适的心态,自己想出来。
In this special cross-post episode of The Cognitive Revolution, Nathan shares a fascinating conversation between Spencer Greenberg and philosopher Nick Bostrom from the Clearer Thinking podcast. They explore Bostrom's latest book, "Deep Utopia," and discuss the challenges of envisioning a truly desirable future. Discover how advanced AI could reshape our concept of purpose and meaning, and hear thought-provoking ideas on finding fulfillment in a world where technology solves our pressing problems. Join us for an insightful journey into the potential evolution of human flourishing and the quest for positive visions of the future.
Originally appeared in Clearer Thinking Podcast: https://podcast.clearerthinking.org/episode/224/nick-bostrom-the-path-to-utopia
Check out the Clearer Thinking with Spencer Greenberg Podcast here: https://podcast.clearerthinking.org/
Deep Utopia Book: https://www.amazon.com/Deep-Utopia-Meaning-Solved-World/dp/1646871642/
Apply to join over 400 Founders and Execs in the Turpentine Network: https://www.turpentinenetwork.co/
SPONSORS:
Oracle: Oracle Cloud Infrastructure (OCI) is a single platform for your infrastructure, database, application development, and AI needs. OCI has four to eight times the bandwidth of other clouds; offers one consistent price, and nobody does data better than Oracle. If you want to do more and spend less, take a free test drive of OCI at https://oracle.com/cognitive
Brave: The Brave search API can be used to assemble a data set to train your AI models and help with retrieval augmentation at the time of inference. All while remaining affordable with developer first pricing, integrating the Brave search API into your workflow translates to more ethical data sourcing and more human representative data sets. Try the Brave search API for free for up to 2000 queries per month at https://bit.ly/BraveTCR
Omneky: Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off https://www.omneky.com/
Weights & Biases Weave: Weights & Biases Weave is a lightweight AI developer toolkit designed to simplify your LLM app development. With Weave, you can trace and debug input, metadata and output with just 2 lines of code. Make real progress on your LLM development and visit the following link to get started with Weave today: https://wandb.me/cr
RECOMMENDED PODCAST:
This Won't Last.
Eavesdrop on Keith Rabois, Kevin Ryan, Logan Bartlett, and Zach Weinberg's monthly backchannel. They unpack their hottest takes on the future of tech, business, venture, investing, and politics.
Apple Podcasts: https://podcasts.apple.com/us/podcast/id1765665937
Spotify: https://open.spotify.com/show/2HwSNeVLL1MXy0RjFPyOSz
YouTube: https://www.youtube.com/@ThisWontLastpodcast
CHAPTERS:
(00:00:00) About the Show
(00:00:22) About the Episode
(00:02:58) Introduction to the podcast
(00:03:26) Dystopias vs utopias in fiction
(00:07:29) Material abundance and utopia
(00:14:57) AI and the future of work
(00:20:10) AI companions and human relationships
(00:22:57) Sponsors: Weights & Biases Weave | Oracle
(00:25:01) Sponsor message: Positly research platform
(00:26:04) Surveillance and global coordination
(00:44:38) Sponsors: Omneky | Brave
(00:44:52) Sponsor message: Transparent Replications project
(00:46:07) AI governance challenges
(00:49:36) Deep Utopia book's purpose
(00:53:09) Global coordination strategies
(00:59:13) The vulnerable world hypothesis
(01:05:18) Bostrom's meta-ethical views
(01:08:32) Listener question on meditation
(01:10:17) Outro
本集资源与出处
- 视频在 YouTube 收看
- 音频节目 MP3 直链来自官方播客 RSS
- 订阅Apple Podcasts
- 官网节目官方页面
- 文本精读 Markdown 版便于引用与 AI 读取


