写出GELU和MMLU的人，现在想给AI办一场“人类最后的考试”

2016年，一个本科生在实习第一周写出一篇论文，提出一个新的激活函数GELU。八年后，这个函数跑在GPT、Grok、Llama几乎每一个前沿模型里，至今仍是他Google Scholar上引用量第一的论文。

这个人是Dan Hendrycks，AI安全中心（Center for AI Safety）执行主任，马斯克xAI的顾问，加州AI安全法案SB 1047背后的技术推手。2023年那份由OpenAI、DeepMind、Anthropic三家CEO联署的声明，也是他一手促成的：

“减轻AI带来的灭绝风险，应当与疫情、核战争等其他社会规模风险一样，成为全球优先事项。”

2024年10月，他在Nathan Labenz的播客Cognitive Revolution里聊了两个多小时，从激活函数聊到基准、越狱防御和地缘政治。挑干货讲。

GELU：实习第一周的顺手之作

GELU的公式看着唬人：x乘以正态分布的累积分布函数。灵感却很朴素。当时的标配ReLU是一条平线接一条直线，拐角尖锐。Dan的直觉来自信号处理：机器学习里，尖锐的东西通常不好，平滑的、概率化的东西通常更好。把阶跃函数换成平滑曲线，就有了GELU。同一篇论文里他还顺手命名了SiLU，如今同样随处可见。

至于它为什么有效，他给不出严格解释，也不觉得需要。音频处理里平滑滤波器普遍优于尖锐滤波器，这算一个类比，剩下的就是“试了，有效，就用”。深度学习是性能驱动的领域，很多方法连事后复盘都讲不清原理，这是和复杂系统打交道的日常。

这段经历也塑造了他的研究品味。他给AI系统唯一的可靠类比是复杂系统：猫、人脑、经济、生态圈。能力分布天生就是歪的，人类天天说话，转写成文字一半句子不合语法，算术烂得出奇，视觉系统却强得离谱。模型同样如此，IMO数学竞赛能拿银牌，同时数不清strawberry里有几个r。与其用“智能应该长什么样”去套它，不如直接看数字。他在aisafetybook.com上专门放了一讲复杂系统，那是唯一没把他带偏过的类比。

架构研究是一片“沉默的坟场”

主持人问到当时很火的KAN网络（Kolmogorov-Arnold Networks，MIT的刘子鸣和Max Tegmark团队提出，主打可学习激活函数）。Dan的回应相当冷。

自2017年Transformer出现以来，试图改进架构的努力是一片“沉默的坟场”。2016年他入行时，Layer Norm、Transformer这些基础组件还在接连出现，激活函数五花八门，而GELU和SiLU基本给这条线画上了句号。七年里唯一算数的架构变化是混合专家模型（MoE），效率提升大约30%，和算力翻10倍、数据翻10倍比起来不算什么。

他的核心判断：算法、数据、算力三要素里，算力和数据才是主瓶颈。他们统计了各种开源权重模型，把性能对训练算力画曲线，相关系数大约95%。各家训练配方不同、后训练方式不同，结果几乎落在同一条线上。实验室里的“秘方”，实际含量相当少。

过去七年最大的“算法进步”，在他看来是人类反复学会同一件事：多喂数据。BERT时代训练语料只有几个GB，RoBERTa翻了10倍，之后一路10倍下去。现在公开文本已经快喂完了，数据墙是真实的风险，合成数据能不能续上，没人知道。

至于视频和具身智能，他也不看好能救场。一个1GB的YouTube视频，转成文字稿只剩不到1KB，而且口语的信息密度远低于一篇精心打磨的论文。文件大小和智力含量是两回事。CLIP时代的研究也显示，图像理解对文本表征的提升几乎为零。他引用海伦·凯勒：盲人也能变得非常聪明，高级推理未必需要视觉。

MMLU：一个月复制粘贴出来的五年传奇

MMLU的诞生故事很随意。他原本在做伦理理解基准，发现模型开始有常识了，题目得加难度，于是想到侵权法和刑法题。法律题效果不错，干脆把人类考的各种试都搬进来：57个学科，从AP微积分到研究生物理，其中法律题约2000道。团队花一个月复制粘贴，数据集就成了。

NLP社区当时并不买账，批评这会诱导模型去背知识、放弃语言学。Dan的判断是：模型早就掌握了语法和基础英语，继续考“语言学理解”考不出差距，知识和考试才是下一步。发布MMLU时他们注意到模型在STEM科目上明显更差，于是又做了MATH数据集，12500道竞赛数学题。如今MMLU是最常用基准的第一名，LMSYS竞技场第二，MATH第三。

几个现在很有用的校准数字：

• MMLU从GPT-4之后一直卡在87到89分附近。Dan的解释很直接：GPT-4用了约10的25次方FLOP训练，至今没有任何模型超过10的26次方FLOP，没有10倍规模升级，“停滞”的证据就不成立。ARC AGI Prize那批人喊“AGI进展停滞”，他的回应是：GPT-3之后也出现过一年空窗，原因只是等英伟达交货、建新集群。他预计6个月内会看到下一代模型。
• 95分位的考生在各科目上平均能拿约90分，这是MMLU的“人类基准线”；而众包的普通人只能拿30到40分。马斯克的概括最传神：这基本是一张本科水平的知识技能卷。
• 数据污染的指控被他用两个证据反驳：如果靠背答案，分数就不会继续跟着难度走，而专业法律题至今仍是最难的科目；Scale AI用自制的变体题测试，只抓到少数几个模型作弊，头部实验室基本干净。训练集本身（7500道题，重新收集要花几百万美元）拿来训练，他认为是合理的。

有人批评模型只是掌握了一个“技能目录”，遇到新题型就露馅。他搬出乔丹：乔丹说自己每场比赛都像训练，因为场上每个动作他都练过，做的时候只是调取。技能目录够大够稳，本身就是通用智能的形态。学生愿意每月花20美元拿ChatGPT作弊，就是能力真实的最好证明。

推理什么时候算过关？他给了一个标准：可靠性阈值。语音识别当年就是这样，能用和好用之间隔着一个阈值，跨过去，争论自然消失。推理还没跨过去，但如果这轮规模升级成功，一年内跨过完全可能。

“人类最后的考试”，和一份不打算被打穿的卷子

MMLU迟早会被打穿。Dan的新项目叫Humanity's Last Exam，人类最后的考试。玩法：向各领域专家征集难题，每人出一两道自己研究里真正难的问题，被录用就上论文署名，预计超过1000位共同作者，总奖金大约50万到100万美元，特等奖几千美元，普通好题几百美元。

设计逻辑：从“每个学科有好几本教科书”的MMLU，转向资料稀少、需要推理的冷门前沿。目标难度是当前模型正确率0到10%。作为参照，GPQA现在已经被做到55到60%，而且它只有500来道题，两次测试就能差出正负5%，对比模型很吃力。新基准要更大、更难，还会保留一部分私有题不公开，用来抓作弊。

他同时在做两个更“危险”的基准。一个是病毒学湿实验室测试：给模型看一张哈佛病毒学博士生实验台的照片，问下一步该做什么。这个分数必须压在低位，一旦逼近满分就等于武器扩散。另一个是Machiavelli基准：让模型玩文字冒险游戏，统计它撒不撒谎、坑不坑人、把不把别人当工具。这个基准做出来时Agent还没火，他特意说明：有些研究是提前两年埋的种子，等Agent能力到位才会生效。

基准伦理也是他现在操心的事。有人提议让Agent“在网上赚钱”当基准，他反问：最快的赚钱方式是诈骗。现行法律也跟不上：刑法讲“明知”和“故意”，没人能在法庭上证明一个模型“明知”自己在协助生物恐怖主义。他的建议是让AI行业把法律里的“合理注意义务”（reasonable care）变成行业标准，伦理从法律里继承，省得几个技术贵族替全人类发明道德。

两万次越狱攻击，没能攻破的模型

Dan安全研究的核心路线叫表征工程（representation engineering），2023年提出。和自下而上的机械可解释性（从神经元出发搭电路）相对，它自上而下：分析单位是表征，即权重和激活的整体，先找概念再拆解。想知道“诚实”在模型内部的方向？拿一堆诚实和不诚实的对比样本，找出那个方向。读出来是读心，反过来拧它就是控制。

他用心理学做类比：想理解人类心理，从粒子物理一层层搭楼梯上去，理论可行，实际上没人这么干。真正要的是功能性解释：花为什么朝着太阳转？为了获取能量。至于那串化学反应，知道了也帮不上忙。

这条路线结出的果实，是他与Andy Zou、Zico Kolter合作的Circuit Breakers（断路器）：把专家级病毒学相关的表征收集起来，训练模型在这些表征出现时把它扭向随机方向，等于在表征里埋绊线。模型一碰到有害内容就自己失灵，正常任务不受影响，可靠性从90%提到99%，性能损失极小，已经适合生产环境。

效果有多好？他们办了一场悬赏比赛：25个模型，其中3个装了断路器，几百名高手匿名攻击。Gemini、Claude、GPT-4、Mistral很快全部沦陷，而断路器模型被两万多次攻击轰了三天，至今没被攻破。他补了两个诚实的注脚：只是单轮攻击测试；明天被攻破他也不会意外。但让一群高手试几万次都失败，本身就是好信号。更关键的是，他们在论文“Safety Washing”里验证过：越狱鲁棒性和算力几乎不相关，堆规模解决不了越狱，必须靠算法干预。

对照组是视觉。他引用量第二的论文是2019年的图像分类器鲁棒性基准，那个领域折腾多年，每年只挪动一两个百分点，近乎绝望。LLM这边明显更有希望。

下一步是防篡改训练（tamper resistance）：模拟无数对手微调模型试图删掉断路器，再训练模型扛住这些微调，内外循环嵌套。连他自己都惊讶这居然可行，而且能泛化到没见过的攻击方式。代价是性能损失明显，暂时不适合生产环境。如果这条路走通，Meta们就能发布带持久护栏的开源权重模型。

开源权重，不等于开源软件

扎克伯格和杨立昆的经典论证：开源软件最安全，人多眼睛亮，漏洞很快被修。Dan认为这套逻辑对神经网络失效。传统软件每一行都是人写的，发现bug可以打补丁；市面上从来没有“LLM 3.1周二更新，修复了某几道MMLU题”这种事。就算给大脑里每个神经元都标上功能，也没法预测这个人在新情境下会做什么。理解木匠、水管工和税务局职员，加起来也推不出经济的走向。模型是它自己最好的解释，看它做什么，它就是什么。

主持人提起生物学家Michael Levin的一个观察：在充满对抗的世界里，太容易被看透的系统也更容易被攻击，生物的复杂本身就是防御。Dan基本认同，还补上控制论的“良调节器定理”：要控制系统，调节器必须内含系统的完整模型。完全透明的系统更容易被利用，靠隐藏换安全（security through obscurity）名声不好，实践中确实买到了安全。开源权重把全部信息交给对手，防篡改注定更难。

他的立场目前是支持开源的，但画了一条清晰的线：如果开源模型达到专家级病毒学水平，能带任何人造出生物武器，那就是大规模杀伤性武器扩散，社会承受不起。他希望防篡改训练能成为那条出路。另外他提醒，AI故事的最大变量可能根本不在算法：台海一旦冲突，台积电停摆，西方缺芯片，而中国自建晶圆厂不受影响，格局会瞬间改写。

整场对话最后落在他的方法论上：他更信数据和算力，对算法洞见保持怀疑，对现有安全方法关键时刻管不管用也不打包票。所以策略只有一个，纵深防御（defense in depth）：监控、断路器、防篡改、治理，一层层叠上去，不确定哪层管用，但总得有几层。

这场对话里最值得带走的，是几件明天就能用上的事：

• 评估模型时别只看一个总分。看它是否“跟着难度走”：难的科目（比如专业法律）分数是否依然偏低。分数均匀上涨，反而要警惕刷题。
• 自己做AI产品，别把安全押在单一护栏上。越狱鲁棒性和算力无关，多叠几层独立防御，一层破了还有下一层。
• 听到“AI停滞论”，先问一句：有没有模型用10倍算力训练过？没有的话，下结论为时过早。
• 想体会MMLU的难度，可以去“Are you smarter than an LLM”网站做几道题，感受一下自己30到40分的水平。
• 关注Humanity's Last Exam的榜单。MMLU统治了五年，下一个五年的标尺，大概率就是它。