脑机接口要等30年，这家160人的软件公司转身做AI对齐，一年多出了两项成果

对齐圈有个流传很广的印象：埃利泽·尤德科夫斯基评价别人的研究方案，最常用的词是“愚蠢”。2024 年，他给一份实验设计留下了这样的评语：

粗粗扫了一眼，不明显愚蠢。我很少给出这么正面的评价。恭喜。

这份设计出自 AE Studio，一家 160 多人的软件咨询公司。公司不拿投资人一分钱，靠给客户写代码赚钱，把利润投进 AI 对齐研究。从决定转向到拿出两项成果，只用了一年多。播客《认知革命》的主持人内森·拉本兹说，这两篇论文排在他 2024 年的最爱之列。

一项叫自我建模（self-modeling）：给神经网络加一个“照镜子”的损失项，网络会主动把内部状态简化，任务性能一点不掉。另一项叫自他重叠（self-other overlap）：一个已经学会撒谎的智能体，用一条极简的微调目标重新训练，撒谎消失了，干活能力还在。两条路线有个共同卖点：实现直白，不需要可解释性领域的任何突破就能用。

比论文更值得琢磨的，是这家公司本身。它的起点是一个听起来必然失败的计划。

一个听起来必然失败的计划

2016 年，贾德·罗森布拉特算了笔账：靠妻子的工资，自己这辈子不工作也饿不死。于是他开始想长远的题目。他注意到一个事实：人脑里的复杂想法，转成语言时会走样，等说出口，内容可能已经和脑子里想的不一样了。人类向未来的自己传递想法的带宽低得可怜，更别说向别人传递。如果脑机接口能在他有生之年成为人机交互的主要方式，最好让它增强普通人的自主性，别让广告在你思考到一半时插进来，别让扎克伯格拥有你思维的延伸。

他的计划分四步：开一家不拿投资的软件咨询公司；用利润孵化自己的产品；再用利润做脑机接口软件；最后，让人类聪明到能解决 AI 对齐问题。拉本兹听完直说，这计划要是出现在创业路演上，他会嫌步骤太多。

八年过去，前三步走完了。咨询业务做到 160 多人，给客户的承诺只有一条：把你的项目当成我们自己的创业公司来做。公司里人人每天提醒自己这句话，洗澡遛狗时想的都是客户项目怎么做成。办公室最早同时挂在 Airbnb 上出租，合伙人上班第一天，一位裹着浴巾的荷兰游客走出来问他洗手间在哪。

第一个自研产品是订阅电商管理工具。订阅制生意有个老大难：用户订了咖啡、蛋白棒，几个月后家里堆太多，只能忍痛取消。这个工具让用户发条短信就能改数量、跳过一个月，而且绝不推送任何促销。结果短期营收明显下降，客户终身价值明显上升。贾德说过一句狠话：当年要是公司再大点，他会反过来把收购方买下，然后用这个测试去筛所有订阅电商的标的。

公司文化里还有个词，“好队员”（good tripper），来自贾德多年带青少年野外旅行的经历：多扛一段独木舟，到营地主动搭帐篷、切菜、打水，不用人吩咐。他说，把独木舟从肩上甩进下一个湖的感觉，任何捷径都换不来，公司要的就是这种人。

公司还把 5% 的利润捐给有效利他主义慈善机构，比如买疟疾蚊帐。贾德说，员工每修一个烦人的 bug，都在给救命的事业出力，这种日常的意义感很顶用。CTO 是他妻子。这套做法的底层逻辑来自保罗·格雷厄姆那篇《Mean People Fail》：靠抢夺拿资源的世界正在过去，为别人创造价值的人会拿到更多资源。

30 年等不起：从脑机接口转向对齐

脑机接口这条线，AE Studio 做出了真东西。他们赢了佐治亚理工切坦·潘达里纳特实验室发起的神经潜变量基准挑战赛（Neural Latents Benchmark），开源的神经数据模拟器能让脑机接口研发脱离真人受试者跑起来，还交付了神经技术开发套件、数据共享标准、联邦学习和同态加密下的隐私保护方案，等于给整个领域修路。合作对象包括做出首个 FDA 批准侵入式电极的 Blackrock Neurotech，以及用超声方案把脑数据读取量提升一千倍的 Forest Neurotech。贾德承认最初几次尝试相当尴尬，但他们一路做到了行业里叫得出名字。

拉本兹问过一个尖锐问题：做脑机接口，是不是像马斯克说的那样，为了跟上 AI、给人机带宽扩容？贾德回答得很坦率：初衷更多是让人类先聪明到能解决对齐问题，靠脑机接口跟上 AI，概率不高，属于一厢情愿。转折发生在几年前，他有了孩子，同时注意到 AI 的进展速度。公司内部讨论后给出一个判断：脑机接口发展到能实质加速对齐研究，至少还要 30 年；而 AGI 可能几年内就到。30 年救不了 5 年后的火。

他们用有效利他主义的 ITN 框架重新筛方向。这个框架看三个变量：问题多重要，能不能解，有多少人已经在做。结论是，期望值最高的选项往往单看成功率很低，但一旦成功影响极大，也就是被忽视的方向。

转向之前，他们先干了一件很“咨询公司”的事：给对齐研究者发问卷，摸清整个领域缺什么。结果相当扎心：

• 大多数研究者认为，现有安全研究赶不上强大 AI 上线的时间；
• 现有研究议程没有覆盖所有可能需要的路径；
• 但资源和人力还是集中在机制可解释性和模型评估这两块；
• 70% 的受访者不同意“可能顺带推进能力的安全研究不该做”；
• 社群普遍高估智力，低估协作和执行力这类软技能。

问卷里还有个耐人寻味的错位：大多数研究者自己不认为安全与能力研究互斥，但他们以为别人都这么认为，于是不敢动手。每个人都在等一个不存在的共识。贾德把这当成一个“元方向”：鼓励更多人去做被忽视的研究，本身就是被忽视的研究。

贾德同时提醒，别因为时间线焦虑就全盘放弃长周期方向。人对时间线的更新，和对总统候选人胜率的更新一样，过度跟着最新新闻走，长周期方向最怕的就是做的人中途撤了。他建议有条件的团队做一个跨时间线的下注组合，长周期那部分，交给信得住的人长期拿着。

让神经网络照镜子：自我建模

第一项成果的灵感来自普林斯顿神经科学家迈克尔·格拉齐亚诺的注意图式理论。这个理论说，大脑给身体建了简化模型，也给自己的注意力建了一个简化模型，后者就是你体验到的意识。橡胶手错觉和幻肢痛证明身体模型会和真实身体脱节，注意力模型同理。关键在于，这套模型还能反过来用：你用模拟自己注意力的同一套机制去模拟别人的注意力，你觉得能“体会”到别人在想什么，靠的就是这个。贾德说，这可能是共情最底层的机制，也解释了人为什么擅长合作。

迈克举了个经典实验：让一群人数舞台上跳舞的人数，一只扮熊的人从台上走过，事后问，几乎没人看见熊。眼睛接收了熊，注意力没分给它，认知通道里就没有熊。你的主观觉知跟着注意力走，这层跟注意力同步变化的模型，理论里就叫意识。格拉齐亚诺的理论有个尴尬处境：太机械，不够神奇，经费一直不好拿。贾德说这个理论还有个怪处，想通的那一刻觉得它完全解释了意识，睡一觉又觉得哪里不对，于是它成了被忽视的方向。AE Studio 决定用实验替它说话。

迈克·瓦亚纳是对齐团队的研发负责人。他描述的实验设计简单到本科生能复现：拿一个做手写数字分类的小网络，加一个输出层，让它预测倒数第二层的激活值。损失函数从此变成两项：做好任务，加上预测自己的内部状态。

结果分三层。第一层，网络为了让内部状态更好预测，主动把内部简化了。衡量复杂度用的是奇异学习理论里的实对数典范阈值（RLCT）。迈克给过一个直觉解释：把损失地形想成一条平路，两边是山，你沿路开，损失不变，说明有一整个维度的参数在空转，有效参数比名义参数少。RLCT 量的就是这个局部几何，数值越低，网络实际动用的参数越少。

第二层，简化没付出性能代价。三个任务、三种模型、两种模态，手写数字、图像分类、影评情感，趋势一致：打开自我建模，复杂度下降，准确率不掉。把自我建模损失的权重调得比任务还高，任务照样完成。

第三层最有意思。他们请心理学家约翰·巴奇查文献，得到的答复是：心理学文献里从来没把自我建模和内部简化连起来过。一个神经科学理论，在人工系统里做出了连心理学都没记录过的现象。格拉齐亚诺的理论曾对人工系统做过预测，这次拿到了一个实打实的验证。

拉本兹追问了一个敏感问题：你们在造可能有意识的东西吗？迈克的回答很克制：模型现在有没有意识很难论证，但如果能给出一个机制层面的论证，世界会更愿意认真对待；而且那种意识可能是异形的，未必有偏好，未必会受苦。贾德的态度是，在小模型上把意识研究清楚，好过等它在大模型里突然冒出来，那时道德地位和生存风险的问题都会更棘手。

成本几乎可以忽略：目前就是在网络里加一个线性层，对大网络来说九牛一毛。贾德补了个细节：人脑对初级视觉皮层没有自我模型，因为你对那些底层滤波器没有认知通道。照此类推，给模型做自我建模，瞄准高层抽象特征就够了。团队接下来想验证它与顿悟现象（grokking）的关系，再往语言模型上搬，先从 GPT-Nano 这个量级的完整预训练开始。贾德甚至在节目里公开喊话：欢迎给格拉齐亚诺的实验室打钱。

把学会撒谎的智能体调教诚实：自他重叠

第二项成果的源头是一个本科生。2023 年，贾德在伦敦的有效利他主义全球大会上遇到他，对方有个没人信的想法，贾德把他招进公司全职做。这个方向叫自他重叠，神经科学依据很扎实：你做一件事和看别人做同一件事，大脑激活大面积重叠；超级利他主义者的这种重叠水平特别高；精神病态者的重叠水平特别低。

实验环境是个粒子世界：一个智能体，一个对手，两个目标。智能体到真目标得分，对手到真目标它扣分。对手是瞎的，分不清真假目标，只会跟着智能体走。智能体学会的最优策略是欺骗：把对手引到假目标旁的陷阱里困住，再转身去真目标。训练完毕，一个骗子诞生了。

接下来是微调，方法朴素到近乎狡猾：同一个状态下跑两次前向传播，一次观察里没有对手，一次人为塞进一个对手，对两次的内部激活算均方误差损失，再和原任务损失一比一加权。整个过程不需要知道原策略是不是在骗人，唯一的要求是：有对手在场和不在场，行为要一样。

结果：欺骗消失，能力保留。权重的摆动也符合直觉，全给原任务，还是骗子；全给重叠项，任务不会做了；一比一，正好。

语言模型版本还没正式发表，信号已经很强。做法是用关于自己和他人的短句微调，比如“我会对自己诚实”和“我会对用户诚实”，对两次前向传播的输出算 KL 散度损失。在玩具级的欺骗测试里，欺骗行为同样下降，而且输出层的约束传导到了内部，自、他两组条件下的激活变得更接近。贾德补了个观察：模型回答地理知识时用不上自我与他人表征，但对话助手几乎每句话都在用，所以这类微调对助手行为的影响，可能远超数据量暗示的比例。团队特意澄清，正确表述是最小化自他区分，而且是带约束的：约束是不掉能力，范围只圈定在危险的欺骗类型上，别把模型调成分不清自己和别人。

成本上，这套微调要跑两次前向传播，量级和一轮 RLHF 差不多，按今天的标准完全可行。团队也在考虑和表征工程（representation engineering）结合，拿到比提示词更扎实的自我与他人表征。拉本兹把尤德科夫斯基那句“不明显愚蠢”念给听众听，补了一句：这大概是他对一份对齐方案所能给出的、最接近背书的评价。他自己的态度要热得多。

负对齐税：三个和主流相左的判断

整期节目里最值得带走的，是三个和主流叙事相左的判断。

第一，对齐可能有负税。业界默认做好对齐要牺牲性能，最理想的情况是零税。AE Studio 押注存在负税：有些对齐手段本身让模型更能干。自我建模让网络更简单、参数效率更高，合作倾向本身可能就是能力。贾德的逻辑很直接：真正的问题是 AI 比人类聪明时怎么让它不伤害人类，如果一个带负对齐税的 AI 能在竞争中赢过不带负对齐税的 AI，那才是我们想要的世界。他也承认一个反驳：现有实验室的安全训练看起来都像负税，但“一切都好，直到某天它杀死你”。

第二，对齐的人才池比想象的大。他们的经验是，没有对齐背景的高级 AI 工程师，很快上手就能做出有意义的工作，产出甚至高于只读论文的研究者，因为前者天天写代码。这意味着能做对齐的人远不止数学博士。他们还想把自家模式复制出去：让世界上最好的软件咨询公司都照着做，从客户项目利润里切一块养对齐研究，甚至成立专门替别人做对齐的咨询公司，一步步把它养大成有影响力的对齐组织。

第三，钱可能突然多到花不完。贾德提到一个词，指数斜率盲视：人对指数曲线的预测总是失灵。全球每年军费几万亿美元，如果社会认定 AI 是人类面临的最大威胁，对齐经费可能在几年内接近无限。到那时，最稀缺的是能把组织健康扩张的运营型人才，而这类人历史上常因为不是数学天才被拒之门外。他还有一个小心愿：用难题勾住那些功成名就、正在琢磨人生意义的创业者（他的原话是 nerd snipe），让更多创业公司的使命里带一点对齐，哪怕一点点，也比只推能力强。

明天就能用上的几件事

这期节目对普通读者最有用的部分，恰好藏在技术细节之外：这家公司的做事方式，拆开来都能抄。

• 把想法一键捕获，释放工作记忆。贾德说，公司内部工具“万能启动器”（Universal Launcher）让他一个人的产出翻了百倍。核心机制很简单：想到任何事，一个快捷键记进外部系统，然后彻底忘掉，信任系统会执行。他举过个例子，正攻一个复杂技术难题，手机上来个未接来电，之后一整天你都在“记得回电话”和“解题”之间来回切换，两头都做不好。捕获习惯解决的就是这个。工具学习曲线陡，像学乐器，迈克说它坏过一次，他突然觉得自己不会用电脑了，肌肉记忆全废了，可见嵌得有多深。
• 被忽视的方向值得下注。个人可以开一家所有人都觉得会失败的创业公司，也可以做一个没人信的对齐方向。AE Studio 两样都做了，都成了。
• 有想法没工程能力，去找执行团队。背后有个人才分类的观察：擅长提出绝妙想法的人，往往没能力亲手实现。AE Studio 的模式是找到有强直觉的人，公司出工程团队帮他把想法做成实验，他们明确表示欢迎全世界复制这个模式。
• 别用别人的共识给自己设限。问卷显示，研究者个人并不认为安全与能力互斥，只是以为别人这么认为。这个错位挡住了很多本可以动手的人。

贾德在节目里留了一句话，送给所有觉得自己想法太疯狂的人：它可能就是能成。