# 反乌托邦张口就来，乌托邦一部都想不出：博斯特罗姆拆解「被解决的世界」 > Cognitive Revolution No. 171 中文精读 - 原标题：The Path to Utopia, with Nick Bostrom – from Clearer Thinking with Spencer Greenberg - 发布日期：2024-09-11 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/171-the-path-to-utopia-with-nick-bostrom-from-clearer-thinking-w-HvRc23.html - 精读字数：约 5315 字（阅读约 12 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 「1984」「美丽新世界」「使女的故事」，随便找个人，反乌托邦作品能一口气报出好几部。换成乌托邦，多数人连一部都举不出来。 这是牛津哲学家尼克·博斯特罗姆（Nick Bostrom）与数学家斯宾塞·格林伯格（Spencer Greenberg）对谈时抛出的第一个观察。这期节目 2024 年 9 月 11 日由 Cognitive Revolution 转载，原出自 Clearer Thinking with Spencer Greenberg。博斯特罗姆就是 2014 年写《超级智能》的那位，当年「比人类聪明的机器」还像科幻设定，他已经在逐条推演其中的灭绝风险。 十年过去，他的新书掉了个头：《深度乌托邦：已解决世界中的生命与意义》（Deep Utopia: Life and Meaning in a Solved World）。这回的问题更别扭：假如 AI 把一切都搞定，人类过上了好日子，然后呢？ ## 乌托邦难产，因为它是「整容手术」 博斯特罗姆承认，历史上被认真尝试过的乌托邦，基本没有一个让人想住进去。它们太顺滑、太甜腻，像塑料玩具。他把毛病比作整容：脸上有个大疣子，切掉，颜值上升；可要是不断加码「改进」，最后就进了迈克尔·杰克逊的境地。 格林伯格补了一个观察：人们对「不想要什么」共识很高，少生病、少贫穷、童年少受苦，全票通过。一问「想要什么样的社会」，是人人随时爽着，还是继续奋斗，还是分成一万个小社会各过各的，立刻吵成一团。 更麻烦的是，**哪怕只给自己一个人设计乌托邦，都已经是道难题**。博斯特罗姆的解释是：人的目标和价值感全部锚定在当前位置上。手头的项目、焦虑、待办清单，都建立在「此时此地」这个前提上。把场景整个抽掉，这些目标集体失效，人像站在空地上，看的是别人的生活。 他给这种处境起了一个比喻：昆虫的外骨骼。交房租、刷牙、赶项目，这些「必须做的事」撑起了生活的形状。书里的原话更狠： > 昆虫有外骨骼把柔软的身体撑出形状，我们的灵魂也有一副外骨骼，材料是那些工具性必需品。 假如有一天进入他所说的「后工具时代」，必需品全部消失，**问题就变成：灵魂靠什么立起来？是瘫成一团满足的「快乐果冻」，还是另有东西撑住结构？**他在书里造了两个词来描述那个状态，「已解决的世界」和「塑料世界」，时间点大概在机器智能转型顺利完成后不久。 几百年前的中世纪农民，幻想的天堂就是流奶与蜜之地：管饱、能歇、天天宴席，光想想就够震撼。格林伯格讲了个朋友的故事：她探访一个部落，问他们的来世什么样，翻译转述说，跟现在差不多，就是奶牛产奶更多。而今天，冰箱塞满食物、每周有双休的人已经很多，这些人体验到的并非天堂，反而常常是另一副面孔：太容易得到带来的无聊、倦怠和没劲。 ## 凯恩斯猜错了工时，贪婪战胜了懒惰 生产率涨了几十年，人为什么没怎么少干活？凯恩斯在差不多一百年前写过一篇文章，按当时生产率的增速外推，预测一百年后人们会富 4 到 8 倍，几乎不用工作，然后发愁一天干什么。结果呢？我们确实比那时富得多，工时只缩短了大约四分之一。多出来的生产率，一部分换成了闲暇，周末、更长的受教育期、产假陪产假、更早退休；更大的一块换成了消费。博斯特罗姆的总结很干脆：**贪婪战胜了懒惰**。而消费里很大一部分，花在了「位置性商品」上。 位置性商品的价值全靠比较。两个亿万富翁都想要全世界最大的游艇，一个 200 米，另一个造了 210 米，第一个人就得升级到 230 米。经济再怎么增长，也不可能让两个人同时满足这个愿望，这是纯粹的零和竞赛。 「被解决的世界」并不假设人没有欲望，博斯特罗姆肯定有人胃口无限。关键在于，当 AI 干什么都比人又好又便宜，想多挣钱也没处挣，人类的劳动不再被需要，社会会逼近全面失业。格林伯格追问：这条路非得经过 AI 吗？博斯特罗姆说理论上可以，给每项智力任务单独写一个非 AI 的自动化软件，时间够长也许能凑齐。但现实里，造一个能学会所有任务的 AI，比造一万个专用软件容易得多，所以路大概率还是 AI。 ## 先消失的是「被需要」 乌托邦里最先被掏空的价值，博斯特罗姆点名了「目的」。今天很多人靠这些撑着：养家糊口的自豪感、对社会有点贡献、把自己练壮、把家重新装修。这些小项目构成了生活的很大一块。假如一切随叫随到，伸手就有，**生活可能滑向一种没有目的的状态，因为再没有什么事情非「我」不可**。 格林伯格讲了个细节。一位朋友最近说，她还是更愿意找格林伯格聊自己的烦恼，但她另一些朋友已经更愿意找 AI。这位朋友自己也承认，这个偏好未必撑得过明年。博斯特罗姆把它当成一个信号：当 AI 成为更好的倾诉对象，人就少了一条「对别人有用」的路。把这条逻辑推广到所有领域，就能提前尝到「被解决世界」的滋味。 怎么搭回来？博斯特罗姆在书里做了个思想实验：从白板开始，往乌托邦里一块一块加东西。 第一块是快乐。很多人一听「纯享乐」就皱眉，脑补一群瘫在暗房床垫上的瘾君子。博斯特罗姆说，先别急着嗤之以鼻，技术成熟期所能提供的快乐强度远超现在的任何体验，**真尝过一口，很多鄙视享乐主义的人会改主意**。 第二块是体验的质地。光有快感不够，还要往里装内容：凝视美、理解真理、敬佩善。传统宗教里的天堂就是这么设计的，凝视完美的善，由此生出爱与幸福。快乐加内容，这个组合在乌托邦里可以拉到极高的程度。 第三块是人造目的。人类其实早就在这么干了：打高尔夫，就是给自己设一个任意目标，只用一根杆，把球打进 18 个洞。规则里刻意排除了「用手把球放进洞」这条捷径。乌托邦里的人同样可以自设目标，而且必须把「允许使用的手段」写进目标里，否则一句「AI 帮我办了」，游戏当场结束。 第四块是真实目的。人造目标总归有点假，有没有「真需要我做」的事？博斯特罗姆给了一个精巧的构造：假设 A 在乎 B，希望 B 的愿望被满足；而 B 的愿望恰好是「A 亲手做某件事」。这时 A 就有了一个真实目的，因为走捷径本身会让 B 的愿望落空。格林伯格举了个更贴身的例子：给朋友婚礼写致辞。让 AI 代写一篇再漂亮，请你的人也会失望，因为这份心意恰恰要求亲手完成。传统也一样，派一群机器人去跳仪式舞，传统就算断掉了。**真实目的藏在人与人的偏好纠缠里，这类纠缠没法被技术一键清空**。 第五块，博斯特罗姆叫它「安静的价值」。白天出门看不见星星，星星一直都在，只是太阳太亮。当下生活里，紧迫的苦难和不义就是那颗太阳，压住了成片的微弱价值：敬奉祖先、延续传统、把人生活出好看的形状、在人与人的关系里讲究美。**一旦紧迫的道德需求被清空，这片星群就会显形，人也该像夜里放大的瞳孔一样，把更多注意力分给它们**。他还有个延伸判断：到那时，生活本身会更像一件艺术品，一件事的美学意义取决于谁做的、为什么做、用什么手段，光看成品不够。 五块加完，画面就不一样了：欣赏着美、打着游戏、还顺带敬着祖先的人生，总比暗房床垫上的快乐果冻强。博斯特罗姆的乌托邦，到这里才算有个雏形。 ## 意识、AI 伴侣和一代人的分歧 聊到关系，博斯特罗姆判断，未来还能留下的自然目的，大部分会来自社会文化纠缠：他人、传统、社群。这里立刻撞上现实问题。社交陪伴机器人正在到来，多模态、有形象、有声音。假如 AI 冻结在当前水平，人会花越来越多时间和它们相处吗？这是好事还是坏事？ 多数人的第一反应是「当然该跟真人待着」。博斯特罗姆怀疑这只是代际滤镜：老一辈觉得跟 AI 聊天不对劲，在陪伴机器人身边长大的一代，也许反过来觉得老一辈有执念。**在这些问题上，形成一个超越个人成长环境的、触及价值基岩的判断，非常难**。 格林伯格亮出自己的底线：对方有没有意识，对他很重要。跟没有内在体验的东西深交，意义会被抽干。博斯特罗姆给了两层回应。第一层，习惯成自然，就像哲学里的「意识取消主义者」，嘴上说意识不存在，日子照过，时间久了人不会一直盯着这个问题。第二层，这些数字伴侣本身可能就是有意识的，而且被设计成比大多数人更会聊天、更体贴，就像人群中总有人特别招人喜欢。他特意声明：自己没在推销这个未来，只是拒绝停在第一反应的「恶心」上，要蹲在不适里看清楚，它到底是道理，还是偏见。 ## 三道坎、一个项圈，和瓮里的黑球 整场对谈里，博斯特罗姆反复把丑话说在前面：这本书刻意悬置了路上的坑，只为问出「然后呢」。坑至少有三个。 - 对齐问题：让 AI 做人想要的，不做人不想要的。他把它归为技术问题，靠数学和计算机科学的聪明人解决。 - 治理问题：假设 AI 已对齐，人拿它干坏事怎么办。这是持续的政治工程，没有一劳永逸的巧答案，目标至少是让善用压倒滥用。治理和对齐还互相咬合：可能需要监管和监督，来保证对齐方案被及时做出来、用上去。 - 数字心智的伦理：未来不只要对人类好，还要对动物、可能对某些数字心智好。先靠哲学和计算机科学判断哪些心智有什么道德地位，再靠同理心和治理把结论执行下去。 这本书的写法也特别，博斯特罗姆说它没有「论点加论证」的骨架，更像一场设计出来的体验，把读者放进一个位置，让人带着开放和善意自己想。书里还藏着一个「秘密目的」：给将来真正要坐下来决定「人类想要什么」的那些人，不管是 AI 实验室、政府，还是全人类的商议过程，留一本预习材料，既配上概念，也配上一种心态：善意的慷慨、开放、带点玩心的沉思。 谈到全球协调，他提过自己的另一个概念「单一实体」（singleton），指最高层面完成协调的世界，最可能的实现路径还是 AI 转型：要么某个行动者攒出压倒性力量，要么 AI 让协调本身变容易。至于今天能推的具体杠杆，他的答案有点泄气：零碎的小改进有一些，真省力的办法，「要是有，早就被人做了」。 协调绕不开他那篇《脆弱世界假说》。论文里有个叫「自由项圈」的装置：戴在脖子上的监控器，录下佩戴者听到的一切，配上全向摄像头，实时上传到「自由办公室」。他承认名字就是故意起得这么奥威尔，好让人警觉。但他同时判断，透明度的上升拦不住：从通话记录、社交媒体，到用当前的 AI 对所有人的言论做大规模情感分析，再接一套社会信用评分，翻出一个人几十年前说过的错话降其信誉，这条技术链路今天已经齐了。 那有没有不吓人的版本？博斯特罗姆拿小村庄和以色列的基布兹打比方：人人知根知底，骗子骗完一个就得换地方，前科摆在那。放大到全世界，也许是一个没有欺诈、当不了混蛋、做好事有回报的世界。他坦白了两层态度：直觉上，他站在那些怼体制的朋克一边；认真推演，他承认现有的政治学和社会科学算不出答案，**自己在这个问题上基本是不可知论者**。 黑球问题也绕不开。《脆弱世界假说》把技术进步比作从瓮里摸球，白球利大于弊，灰球利害参半，黑球直接终结文明。博斯特罗姆估计，AI 时间线不长，假如真有黑球，最可能出自中等水平的 AI：一个生物武器设计工具，或者监控加自动化宣传搅动出的社会崩坏。AI 在存在性风险里地位特殊，它既是最大的风险源之一，又是唯一可能替人类挡住其他所有风险的东西。他还提醒，「存在性灾难」这个词本身带价值判断：人类以现在的模样原封不动地延续一百万年，算不上多好的结局；回形针最大化器的世界，同样浪费了价值的可能。 ## 模拟、道德议会，和明天能做的事 快问快答环节信息量不小。《超级智能》出版后经历了 ChatGPT 时代，博斯特罗姆认为大框架依然成立，只是细节变了：AI 出人意料地拟人，想从大语言模型身上拿到好答案，居然得先给它打气，「一步步想，这很重要，我的工作就靠你了」。这套话术放在二十年前，会被当成把 AI 拟人化的笑话。 2003 年提出模拟论证时，问的人不少，他一个数都没给过，现在只说这个概率「略微涨了一点」。虚拟现实的分辨率、沉浸式游戏，让人更容易设想逼真模拟的终点，从现在到能跑祖先模拟之间，「下车」的机会比二十年前少多了。这个信念没改变他的日常安排，改变的是姿态：比起道金斯式「人死如灯灭」的笃定，模拟假说打开了太多可能，嵌套的模拟、底层现实、形形色色的来世。**知道得少，就少装知道，这是他从中提炼出的认识论谦卑，几乎带点灵性**。 元伦理学部分，他拒绝一切主义标签，习惯让多种立场同时悬在脑子里，像叠加态。他写了一篇笔记体的文章《伦理山的登山大本营》，还提出过「道德议会」：把脑子里每个够得着的道德理论，按自己赋予的概率派代表进一个假想议会，代表们辩论、妥协，最后按议会的决议行事。一个概率不高但在这件事上特别较真的理论，可以在这件事上胜出，作为交换，它在别的事上让步。**这个模型比认死一个理论更能压低狂热的风险**。 对普通读者，这场对谈至少留下三件明天就能做的事。 - 做一次「乌托邦练习」：写下理想社会的样子，规则是禁止只列「现在减去某些坏事」，「没有白血病的世界」这类送分题不算数。写得出来还是写不出来，本身就是对谈里最扎心的测验。 - 列一份「真实目的清单」：找出那些就算 AI 能代劳、自己也绝不肯外包的事，亲手给朋友写婚礼致辞、陪孩子搭积木、替长辈续一段家谱。这些技术清不掉的偏好纠缠，值得主动多攒几件。 - 下次遇到两难决定，试试道德议会：把心里几个互相打架的价值各记一票，让它们讨价还价，别让嗓门最大的那个直接拍板。 主持人内森·拉本兹在转发这期节目时说，他常讲世界上最稀缺的资源是对未来的积极愿景。博斯特罗姆这本书没给答案，它做的是把问题磨锋利，然后递到每个人手里。至于答案，按他的说法，得由将来坐在商议桌前的那些人，带着合适的心态，自己想出来。