偏好只是数据，规范才是靶心：MIT博士生把AI对齐的靶心挪了挪

一群AI代理住在格子世界里，地上长苹果，河边可以洗苹果。有的代理明明该饿了，却放着苹果不吃，还定期跑去把河洗干净。看多了这种行为，新来的代理会推断出一条规则：苹果不够时不许吃，河脏了得有人洗。这个玩具实验出自MIT博士生 Tan Zhi Xuan 今年的论文，规则库里备了72条候选规则，有些还是干扰项，代理靠贝叶斯推断，从同伴的行为里找出大家真正在守的那几条。

2024年11月底，Nathan Labenz 在 Cognitive Revolution 节目里和 Tan Zhi Xuan 聊了两个小时，前半场拆主流对齐方法的理论地基，后半场看小代理怎么自己学会守规矩。Nathan 在开场词里特意点了一句：Tan Zhi Xuan 把东方和西方传统缝在一起谈对齐，这本身就反驳了 Sam Altman 前阵子在《华盛顿邮报》文章里的判断。Altman 谈中美AI治理，原话是"there is no third option"，没有第三选项。

先泼冷水：AGI这个词他不想用

Tan Zhi Xuan 在MIT读博，研究AI对齐、概率编程和认知科学。新加坡长大，本科在美国，管过学校里的有效利他主义社团，又自称“太左”，没法全盘接受那套叙事。五年前他做过一个演讲，讲佛教和儒家哲学能给AI对齐带来什么。Nathan 引 Tyler Cowen 的话说，所有思考者都是地域性思考者，他认领得很干脆：西方哲学垄断“怎么想对齐”这件事，他天然存疑。

聊未来，他先拒了"AGI"这个词，理由是太模糊。他更愿意换一个问题：把现有工业经济的50%到80%自动化，需要什么条件？他的估计是一二十年起步，本世纪内原则上做得到。OpenAI 那些公司的预测建立在一个特定的AGI定义上，即便按那个定义，他也觉得太乐观。

一个关键论据是运动智能。人类和动物的智能，有相当大一块花在走路、抓取这类硬问题上，而AGI的定义被悄悄划掉了机器人这块，可物理劳动是全球经济的大头。他判断，这块十年二十年之内看不到解法。

“数据中心里的天才之国”这类比喻，他也不买账。自动化科学太远，他不信2028年前能实现。更简单的任务，比如自动化一个远程办公文员，卡在可靠性上：办公工作要求95%、99%的正确率，纯语言模型加补丁的路线到不了。文案写作这种标准宽松的活可以自动化，要求精度的活得靠混合系统创新。

Nathan 提到 Sam Altman 给2025年立的预测是“饱和所有基准”，Dario Amodei 说的是两三年内出全领域诺贝尔奖水平的AI。Tan Zhi Xuan 的回应很稳：他会继续推差异化加速，优先发展天然更安全的技术类别。他真正盯的指标是推理可靠性，o1 这类模型确实修了老式思维链的一些毛病，但推理成本指数级上涨，能不能稳定做到90%以上的正确率，从外部看不出明确证据。

理论归理论，实践早就跑偏了

这期节目的核心，是论文《Beyond Preferences in AI Alignment》，他和 Michael Carroll、Sierra Franklin、Hal Ashton 合写，磨了两年。论文拆的是主流对齐叙事：人脑子里有个效用函数，这个思路可以追到 Yudkowsky 那句“智能就是最大化某个效用函数”；RLHF 从偏好数据里把它学出来，AI负责最大化它。

他说理论归理论，实践早就跑偏了，而且偏得有道理。第一，没人真敢把学到的奖励函数拉满，它只是人类真实意图的糟糕代理，过度优化一定翻车。第二，训练时加了 KL 正则，把模型拴在预训练分布附近，等于把“模仿人类”和“听人类说哪个更好”掺在一起。第三，大语言模型本身是逐 token 采样的策略，随机性摆在那，把它描述成期望效用最大化者本来就不贴切。Michael Cohen 最近有论文指出 KL 正则在某些情形下不够用，但 Tan Zhi Xuan 基本认可：这套带正则的训练确实避开了经典理论里效用最大化者的那些病态。

“我们嘴上说在做偏好最大化，实际做的是一件更丰富的事，只是没意识到自己在做这件事。”

那开发者实际在干什么？他给了一个重述：开发者心里装的是一套规范标准，收集人类反馈是为了检查模型符不符合标准，偏好数据只是信息来源，对齐目标是那套标准。Anthropic 说模型要 helpful、harmless，Constitutional AI 里列着“不要有毒”“鼓励反思”这样的具体原则，都是标准清单。Nathan 常听到的三个老批评，评分者不稳定、人和人偏好不可聚合、长期后果算不出来，都成立，但它们批评的是逆强化学习那套理论框架，现实中的大模型压根没在按那个框架跑。

替代方案一句话能说完：先问AI扮演什么社会角色，再问这个角色欠用户和社会什么。类比是现成的：医生、律师要守职业规范，客户个人偏好再大也得让步。家用机器人的标准可以形式化，别撞人、别打碎易碎品，写进世界模型，用规划算法给出安全保证，Tan Zhi Xuan 也是“走向保证安全AI”那篇立场论文的联署作者。角色清单能拉很长：自动交易员、订票助手、客服、政府服务问答、能源调度、无人机控制、数据分析、科学模拟，卖给企业的底层模型本身也是一个产品，需要自己的规范要求。把大语言模型当成AI的全部，会漏掉一大片对齐目标。

Nathan 追问了一个尖锐的时间点问题：如果真像 Dario 说的两三年内出全能系统，社会来不及给每个角色谈好规范怎么办。Tan Zhi Xuan 的回答是，这套思路照样能用，只是从预先写死换成在线反思：训练或提示AI去想，我是自动AI科学家，这个角色该受什么约束，社会大概会同意什么。规范可以边跑边谈。

AI欠我们什么？契约主义来答题

“AI该对我们负什么”这个问题，借自西方政治哲学里的契约主义。Tim Scanlon 在《What We Owe to Each Other》里给的标准是：一条原则，只要有人能合理拒绝，就不能强加于人。Tan Zhi Xuan 更站 Scanlon，不喜欢罗尔斯的无知之幕，那个躲在幕后的抽象选择者既不现实也不融贯，人的关切从来深嵌在社会关系里。

他给这套哲学加了个政治前提：先去中心化。AI为特定用户或组织服务时，对齐目标就是服务对象的诉求，冲突少。麻烦出在负外部性，没人想让 Claude 轻易教人做管状炸弹，可这条线画在哪，必然有政治争议。争议之下，需要公平中立的方式定标准。法学家 Gillian Hadfield 有个说法他很喜欢：AI对齐是个不完全契约问题。我们和AI之间的契约永远缺条款，AI要学的是社会的规范基础设施，遇到没写的情况知道怎么补，就像机构雇律师，是为了不上法庭。

现有实践里，Constitutional AI 离契约主义最近。后续的 Collective Constitutional AI 走得更远：调查美国人的意见，找出争议群体之间认可度最高的原则，做了一份公众来源的宪法。Tan Zhi Xuan 认可方向，也点出局限：这是一次性流程，模型跑到没覆盖的新场景就抓瞎，原则的语义是否真被模型理解也要打个问号。出路是让AI在线补课：模拟各方立场做虚拟议价，或者学 DeepMind 的 Habermas machine，汇总众人观点生成共识声明，再把共识拿去当对齐目标。

Meta 那种向量奖励方案，把有用性、有害性拆成独立奖励模型再调旋钮，他的评价是不够格叫范式转变：拆开只是更透明、可审计，最后还是聚合成一个效用函数。真正的转变，是搞出“有用”的理论、“有害”的理论、“好老师”的理论，让系统会做规范推理。

顺带聊到现状。Nathan 问前沿模型做得怎么样，Tan Zhi Xuan 说了句“出乎意料地好”：Constitutional AI 那次让他大受震动，模型内部已经装了足够的规范知识，给份原则就能自我批评、自我修改。陪人聊道德困境，可能不输一位很 thoughtful 的好朋友。但让它评估气候政策、移民政策的长远影响，不行，那需要像样的世界模型和社会模型。Nathan 半开玩笑说想把票投给 Claude，Tan Zhi Xuan 泼了冷水：语言模型太讨人喜欢，当不了好领导，领导得有主见。他自己的排序是，本地政治问题先问深耕多年的伴侣，再问 Claude，最后才轮到街上的陌生人。

从别人不吃苹果，推断出一条规矩

后半场进入更硬核的一篇：《Learning and Sustaining Shared Normative Systems via Bayesian Rule Induction in Markov Games》，大量实现和实验由他指导的学生完成。设定是标准的马尔可夫博弈：一群代理各有各的奖励函数，传统解概念是纳什均衡。Tan Zhi Xuan 加了一层信念：代理对“社会是否在守某条规则”持有判断，规则库里备着72条候选，有些是干扰项。

核心机制一句话：偏离自利的行为，是存在规范的证据。别的代理放着苹果不吃，还去洗河，“纯自利”假说解释不了，“它们在守一条我没见过的规则”解释得更好，贝叶斯推断自然倒向后者。代理的奖励函数依赖信念：对某条规则的信念只有10%，违规代价无所谓；信念到90%，就会认真守。实现上用阈值启发式，信念够高就守，也试了采样探索。

两个涌现现象值得记下。一是规范能凭空滚出来：本来没人在守什么，一些代理试着守某条规则，别人看见就跟，雪球滚到全员共享一套规范，现实里的本地惯例就是这么形成的。二是规范会衰减：代理推断的是“社会最近k步在守什么”。球赛后满地垃圾，新来的人推断这里不介意乱扔；走到干净的街区，很快切换成“这里不能扔”。Tan Zhi Xuan 补了一句，这个例子是他从美国文化里看来的。

坏消息也得说清楚：这套机制没有任何保证收敛到好规范。坏均衡一大把。他引了宾夕法尼亚大学 Christina Bicchieri 的《The Grammar of Society》，书里有个概念叫多元无知：人人私下讨厌某条压迫性规范，但都以为别人认同，规范就稳定存在。这套框架只做“守大家守的规矩”这个最小目标，不判断规范好坏。要跳出坏规范，得加上契约主义那套机器，弄清人们真正想要什么，推理什么原则能让集体更好。他承认这难免沾上他叫作"galaxy brain value alignment"的老大难，但优化对象从每个具体计划换成原则层面，难度降了一档。

扩展性是明摆着的瓶颈：当前实现需要显式形式化的世界模型。中间地带可行，比如让自动驾驶汽车学旧金山、越南、印度各不相同的驾驶惯例。全开放的自然语言规则也有路：拿语言模型当规则违反的判官，取 yes、no 两个 token 的对数概率做概率估计，再用重要性采样近似贝叶斯推断。DeepMind 和 Cooperative AI Foundation 正在办 Concordia 竞赛，语言模型代理在模拟社会里互动，天然适合试这套。Nathan 补充说，Stanford 那个生成式代理小镇有开源 TypeScript 版，有人 fork 一下就能跑实验。

聊到 AE Studio 主推的“自我他人重叠”（self-other overlap），把代理内部表征里自我和他人的差异压到最小，结果让学会欺骗的代理不再骗人。Tan Zhi Xuan 的态度分两半：复用同一套心理机制来理解自己和他人，这个认知科学思路他喜欢；神经网络内部表征到底在干什么，目前没有足够理论，他不敢打包票。他给了个狠标准：作为安全论证提交给政府，他要的是数学定理级别的证明，经验结果买不来安全。

他押的未来：一群专才，没有神

Tan Zhi Xuan 承认自己受 Eric Drexler 的“综合AI服务”影响很深。他的论据很朴素：超人AI早就存在了，只是成功之后就改名叫软件工程。Google 地图的路径规划是经典AI搜索算法，比任何人类领航员强，规模大几个数量级，天天在用。这个趋势会在更多领域延续。

AI实验室真正想自动化的是认知科学里的“中央认知”：通用推理、规划，把八竿子打不着的考量拉到一起解决问题的能力。但模块化论题的支持者认为，根本不存在单一的中央认知，全是专门模块在互动，知觉、空间导航、心智理论、直觉物理，婴儿身上就有。如果能逆向工程这些模块，专门系统会更小、更便宜、更可靠。就算 o1 先到，专门化系统会迅速追上反超。他留了个反问：一个单体系统，凭什么赢过一群专门负责“专门化”的系统？演化造出的本来就是无数专才心智，各填各的生态位。

安全上他是乐观派。渐进扩散的路径下，保证安全AI有真实市场需求，agent 时代大家要的是可靠性承诺，能拿出保证的产品会赢。差异化加速的目的，是跳过不必要的混乱事故期：AI蠕虫已经在造成经济损失，协调不良的agent可能制造闪崩。他最担心的一件事，是没有任何保证的AI接进军事指挥链，机器对机器的反应速度远超人类，擦枪走火升级成热战。大国竞争这块，他不信单一系统能给某个国家决定性战略优势，扩散式发展意味着收益更分散。核和平的老经验照搬过来：领先者保持健康领先，同时广泛分享收益，让第二名觉得开战不划算。

明天就能用的三件事

Altman 说中美之间没有第三选项。Tan Zhi Xuan 用两篇论文给了一个反例：对齐的靶心可以从偏好挪到规范，儒家的角色伦理和西方的契约主义能拼在同一张图纸上。这条路能不能走通没人打包票，但有三件小事，明天就能动手验证这套思路。

• 做AI产品、写系统提示词的人，把“用户喜欢什么”换成三个问题：这个AI扮演什么角色，这个角色欠用户和社会什么底线，哪些约束可以写成硬性检查。家用机器人的“别撞人”能形式化，客服的“不许教做炸弹”能写成规则，先写死能写死的，剩下的交给在线反思。
• 采购或评估模型的人，把可靠性当硬指标。问清楚95%还是99%，问清楚错误分布在哪，别被一次漂亮演示带走。Tan Zhi Xuan 对纯语言模型路线的怀疑，全押在可靠性这个数字上。
• 想深入的人，先读《Beyond Preferences in AI Alignment》，论文自带总结表格，好消化；对机制感兴趣的去看马尔可夫博弈那篇，或者去 Concordia 竞赛、Stanford 生成式代理小镇的开源代码里，跑一个自己的规范推断实验。