AI还没造出来，她决定先研究变形虫、癌细胞和企业边界

2023年秋天，播客主持人内森·拉本茨干了件费眼睛的活儿。他接受Skype联合创始人、AI投资人扬·塔林的邀请，给生存与繁荣基金当推荐人，两个月里和另外五位推荐人一起，读完大约150份AI安全领域的资助申请。他特意强调，每一份都亲自看了。

资助流程走完、支票寄出之后，他第一个请上节目的人有点特别：PIBBSS的联合创始人诺拉·阿曼。这家机构的全名是「生物与社会系统中智能行为原理」，她同时在布拉格查理大学的复杂系统对齐研究组做研究员。她研究的东西听起来跟AI八竿子打不着：变形虫怎么找食物，癌细胞怎么挣脱身体的指挥，企业的边界为什么画在这里，没画在别处。

在诺拉那里，这些问题和「AI会不会失控」是同一个问题。

顺带一提，内森顺手回怼了网上流传的AI安全圈阴谋论：这个圈子透明得很，资助方公开每一笔资助，受助机构公开发计划和进展报告。

三条前提，和一个点不着火的老引擎

诺拉开场先给了一个极简版的AI风险框架，就三条前提。

第一，我们正在造越来越强的系统，它们能在复杂环境里自己行动。第二，这些系统正被放进越来越要紧的位置，替人做后果越来越大的决定。第三，技术上，我们至今没搞明白怎么可靠地让系统「照我们说的做」。它有时候听话，有时候不听。

单看哪一条都不新鲜。麻烦在组合：把关键决策不断外包给一批我们不知道怎么可靠指挥的系统。诺拉认为，这就是AI风险最朴素的形态，后面所有精细的理论都盖在这三条上。

接着她抛出了整期节目最核心的概念：认知通道问题（epistemic access problem）。

科学的常规引擎靠经验通道转动。提出假设，做实验，看结果，错了就改。工程上叫试错：试一个方案，不行，换个稍有不同的，再试，直到某个方案成了。人类整个知识大厦的地基就是这套流程。

麻烦在于，我们最担心、也最不理解的那类AI系统，恰恰还不存在。而且按前提，它们会非常强大，总不能等造出来再靠试错学习，那个学费付不起。

那么问题来了：在没有经验通道的前提下，我们怎么才能对AI的未来取得系统性的进展？我们仍然想要进展，而且要系统性的，别只靠运气。

现有研究基本分两条路，各自押了一个假设。

第一条是主流的机器学习技术安全路线。假设是：未来那些让人担心的系统，会跟当下最先进的ML系统大体相似。所以研究现在的系统怎么不安全、怎么变安全，洞见能平移过去。

第二条走理想化理性智能体路线。假设是：足够强的AI会表现得接近一个理想化的理性主体。决策论、经济学里的行动者模型都归这类。经典讨论里奥莫亨德罗的「基础AI驱力」、工具性趋同、权力寻求论证，都是这么推出来的：一个理想化的强力智能体，遇到约束会怎么反应，风险从哪来。

内森承认自己基本待在第一阵营，但他有个反复念叨的口头禅：人脑和Transformer都不太可能是历史的终点。过去几个月，带循环结构、能突破固定注意力窗口的新架构正在加速出现。现在的系统记性差得可怜，光是把记忆这一项修好，2025年的AI可能就跟今天长得不一样了。

在他看来，这两条路都有大东西可挖，但都还是把AI单独拎出来看：看它的内部，改它的内部。很少有工作去碰另一个问题：这些东西部署出去之后，世界会怎么跟着变？这正是诺拉的工作吸引他的地方。

第三条路：从变形虫到市场找答案

诺拉押的是第三个假设，也是PIBBSS的立身之本：智能行为作为一种现象，不管实现在什么底层、什么尺度上，可能受同一套或相似的原理支配。

如果这个假设哪怕部分成立，操作就顺理成章：去研究那些已经存在于自然界、能拿到经验通道的智能行为，把洞见迁移到AI问题上。大脑算，进化算，细胞变组织、组织变器官的发育过程算，一群经济主体互动形成的市场也算。

她说的智能行为，比日常用法宽得多。她举的例子很实在：让一个人去手动分配整个经济的资源，人会想破头还做得很差，市场却一直在做这种事，这里头显然有「活儿」在被完成。一个受精卵发育成完整的生物体，要决定哪些细胞去哪儿、生产什么蛋白质，这也是在完成复杂的系统性工作。

她不急着给智能下定义，想要的是一套「自然化」的解释：这些系统各自在干什么？相似在哪，不同在哪？中间那条亮线到底存不存在？

这里藏着一条重要的方法论警告。人类的心智是进化捏出来的，只擅长注意特定时空尺度上的现象，太快或太慢的过程根本进不了注意力。如果未来的AI展现出足够异质的行为，我们默认是看不见的，得靠科学理论和测量工具把感官延伸出去。所以她拒绝一上来就拿拟人化概念去套AI，宁可先问：这东西到底在干什么？

顺便说一句，这套思路也照得亮当下的系统。神经科学几十年研究大脑攒下的方法论，哪些好用哪些不好用，可以直接翻译给ML可解释性。用「主动推理」和自由能原理这类自称认知理论的框架去套现在的模型，问它能不能预测系统的行为和扩展性，也是PIBBSS研究员真在做的事。

「借用」太轻，迁移有四个层次

内森准备问题时用了「借用」这个词，灵感来自经济学家泰勒·科文那句口头禅：模型都在哪儿？诺拉当场修正了他。借用听起来像从某个领域拧下一个现成概念，咔哒一声装到AI上，实际迁移很少这么干脆。

她拆出好几个层次：

• 事实层面：比如大脑规模这类基本事实，能校准我们对AI的先验判断。
• 框架层面：博弈论能不能用来想多个AI主体互相博弈？经济学的委托代理概念能不能用来刻画对齐问题？
• 方法层面：复杂系统的数学工具、神经科学的方法库，能不能直接服务AI研究？
• 实践层面：别的领域怎么组织理论与应用之间的对话？

第四层她讲了个案例：生物工程。这个领域的处境跟AI安全像得出奇。真实生物体复杂到爆炸，细节多到数不清，有时候直接在活体上做实验还不合伦理。从业者的办法是，靠理论搭出仿真和模型，在模型上做大量工程工作，隔一阵子才回到真实生物体上验证一次。

诺拉觉得这是AI安全最该学的姿势。应用工作要有具体抓手，同时概念上必须过硬。她吐槽说，从智能、能动性到目标导向、欺骗，这一行用的词个个模糊，实验设计不先把概念磨清楚，测出来的结果自己都不敢信。

三个问题簇，和已经开工的项目

PIBBSS把研究分成几大簇，诺拉挑重点讲了三个。

第一簇：能动性到底是什么。目标导向、自主行为，这些词人人会用，没人能给一个能做科学的定义。复杂系统领域在问「怎么从原子里长出智能体」；人工生命领域在问「能动性怎么出现、能不能人工实现」；生物学这边有「基础认知」研究，追问简单系统怎么一步步复杂化、规模化；社会学里那场打了上百年的「能动性与结构」之争，问的也是同一件事：解释现象时，什么时候归因于个体行动，什么时候归因于市场、制度这种高层结构？还有生物学里的模块化，经济学里的企业边界之问：为什么公司有边界，为什么我们不跟所有人签合同完事？这些问题都在追问同一件事：结构化和个体化是怎么在不同系统里发生的。

已经开工的项目有两个方向。一个是给能动性做测量，有人从物理学史找灵感：人类曾经也搞不清温度是什么，不知道它是一种性质还是几件事搅在一起，后来学会了测量它、定义它。能动性会不会也一样，只要理解得当，就能跨系统测量？

另一个是层级对齐。身体里，细胞、组织、整个人，每一层都有某种程度的能动性。平时细胞跟「你」的目标对得整整齐齐，出问题的时候就是癌症：个别细胞的信息跟整体解耦，开始跟高层系统的目标对着干。经济里也一样，个体、企业、组织，各层各算。这个思路直接接上了AI安全里「内优化器」的讨论：进化作为一个外层优化过程，优化的是广义适合度，结果甩出来一个叫人类的内层优化器，目标跟外层对不上。诺拉想追问得更远：博弈论给了我们描述同一层级多主体互动的语言，那描述跨层级策略互动的「纵向博弈论」，能不能造出来？

第二簇：心智与认知。神经科学、认知科学、动物认知比较研究全算进来。问题清单包括：人类怎么变得擅长演绎推理和算术，跟Transformer的机制像在哪、不像在哪；Transformer的脆弱性会不会自然消失，毕竟人脑也就是一大坨连接组；内在动机从哪来，能不能理解到可以工程化地给系统装上可靠动机；心智理论怎么工作，这直接关系AI的欺骗能力和情境意识。还有人走得更远，比如史蒂文·伯恩斯在做的脑启发对齐方案，认真把大脑类比当设计图纸用。

第三簇：多个主体互动。经典AI风险叙事盯着单个超强AI，诺拉认为未来几年更现实的画面是一堆AI系统互相作用，AI跟大量人类互相作用。她给想要的东西起了个名字：面向互动主体的可解释性。可解释性是钻进单个系统看内部，她想要的是理解一群系统互动时涌现出来的东西。

这一簇有多早期？去年夏天有研究员试着设计LLM互相作用的实验，结果连基本设置都定不下来：生态学模型里主体抢的是空间和资源，文本空间里对应的「资源」是什么？它们在协调什么？环境类比是什么？还有个更根本的障碍，生态学传统上靠野外观察吃饭，而这里需要一门还不存在的「计算生态学」。想干这行的人，还得恰好待在一个允许跨界的学术环境里，碰上愿意支持的导师。这两样，没一样是现成的。

她还提了一条更理论化的线：元进化动力学。进化压力本身会不会变、按什么逻辑变？这关系到怎么预测AI系统的动机和行为会被什么力量塑造。概念上很有意思，离应用还远。

具体手法上，她见过三类尝试。文本分析，让多个LLM实例互动、迭代提示，观察回答怎么演化，方向对，但她还没见到哪个设计能给出实质性的证据让人大幅更新判断。数学建模，把「用某个模型刻画AI互动」形式化，讨论怎么应用、坑在哪，让人兴奋，还没有可指认的结果。仿真，这是她短期最看好的，因为能直接喂给评估工作：怎么设计实验环境，才能有把握测出模型能不能做某件事；等它接触真实世界的复杂环境，能力又会怎么漂移。评估团队ARC evals测试过前沿模型能否可靠地自我复制，PIBBSS这边有人在搭情境意识的数学理论雏形，先想清楚怎么形式化，才知道该设计什么样的实验把它引出来。

类比都不可信，历史也没演过这一集

听到这里，内森替所有听众问了那个绕不开的问题：变形虫、市场、理想化智能体，这些类比我该信几分？

诺拉的回答分两层。

第一层，类比和代理模型，就其定义而言没有一个是真的，地图永远画不全领土。出路是认知多元主义：拿一堆互相独立的视角对准同一个现象，做三角定位。如果五个独立视角都说特征A存在，只有一个视角说特征B也存在，那对A的信心就该远高于B。

你应该永远怀疑自己使用的类比和代理模型。但如果一堆类比收敛到同一个地方，你就该对那个地方更有信心。

第二层，类比也分精度。松散的类比，比如闲聊语言模型哪里像人，用途是生成假设，这合法，但产出只是假设。数学模型的类比精度高得多，用途是检验和证伪具体假设。两种东西的认知地位不一样，别混着用。

内森用自己的话复述了一遍：这类工作大量是「如果这样，那么那样」的推演，没人知道未来哪个「这样」会成真，但提前把各种分支推完，等新东西冒出来时，手里已经有一摞现成的分析。

顺着类比这个话题，内森又问：历史上有没有哪次，人类真的提前看拐了弯？他给节目起名「认知革命」，本意就是对标工业革命。

诺拉给了个分层的答案。工业革命、电气化，都是重塑社会的技术跃迁，有东西可学。但这次有个质的不同。人类第一次要人工制造出一种自主追求目标、能自我维持、能在噪声里顶着环境阻力持续行动的复杂过程。她描述得很物理：一堆原子开始以连贯的方式长期行动，对抗耗散压力，自己维持自己，朝目标推挤。这是个递归性的存在，能按自己的逻辑重塑周围世界。

人类身边本来就有具备部分这种能力的非人动物，但我们的办法是可靠地控制住它们。一个既控制不住也理解不了的异质智能过程，历史上没对付过。

速度还让问题更糟。内森接了句狠话：尼安德特人当年也没看见智人到来，哪怕两个物种还能通婚。诺拉的版本更冷静：事件发生得越快、越超出人类的理解带宽，干预和纠偏的窗口就越小。工业革命已经让社会适应得够呛，制度框架到现在还在追，这次的速度快得多，还多一个自主维度。

想入场的人，明天能做什么

说了这么多理念，PIBBSS实际是个操作机构，跑了两年多的项目长这样：

• 夏季研究计划：三个月，把复杂系统、生物、认知科学等领域的博士级人才和AI对齐研究员配对，目标是搭起两个领域之间的合作面。三个月出不了突破，但足够建立牵引。
• 研究合伙人：新开的项目，面向更有经验的研究者，长期定制化支持，让他们推进自己的研究议程。
• 读书会和讲座：读书会围绕一个核心问题组织，对齐为什么难？障碍具体是什么？让不同背景的人先建立风险图景，再回头想自己领域的工具能不能对上某个风险点。

招人标准，诺拉说了三条。对AI安全的风险图景有基本了解，不用深，得有；在自己的领域里是真专家，因为迁移的质量取决于源领域的深度；愿意啃开放性问题，这行没有现成范式，很多问题连「该问什么」都还在摸索。她特别点名想要一类人：愿意把领域经验拧到具体应用上的人，不管是实验设计、评估还是可解释性。理论和应用的那道缝，是整件事最难也最值钱的地方。

结尾，内森和诺拉各给了一句话。

内森的版本：这个领域同时处于前范式阶段和摘低垂果实阶段，成熟领域里你在打磨技术，这里你在定义问题。没有任何一个「钦定团队」掌控着局面，别把自己排除在外。

诺拉的版本：这一行没有既定答案，解决方案尤其没有。需要的是对「会出什么事」保持多元视角，别把全部筹码押在某一种具体的末日剧本上。

具体到能马上做的事，有三件。

第一，如果你在神经科学、生态学、复杂系统、经济学、博弈论、动物认知任何一个领域，去PIBBSS官网看夏季研究计划和研究合伙人的申请窗口，读书会材料是公开的，先读起来，拿自己的工具箱对一遍那张风险清单：能动性测量、层级对齐、多主体互动、情境意识的形式化。

第二，就算不转行，认知多元主义今天就能用。下次判断一个模型会不会说谎、会不会追求目标，别只依赖一个测试或一个类比，找三四个互相独立的视角做三角定位，只信收敛的部分。

第三，警惕任何把未来AI直接套进人类模板的叙事。遇到「它就像人一样」的论证，先问一句：这个类比是拿来生成假设的，还是拿来下结论的？前者可以，后者得掂量。