# 「大模型不会泛化」刷屏翻车记，和一场提前开打的监管战 > Cognitive Revolution No. 80 中文精读 - 原标题：AI Discourse Deranged: Assessing LLM Generalization Takes and Polarizing Regulatory Debate - 发布日期：2023-11-17 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/080-ai-discourse-deranged-assessing-llm-generalization-takes-and-XJLykN.html - 精读字数：约 6262 字（阅读约 14 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 388万英里，零人身伤害索赔。财产损失索赔每百万英里0.7起，人类司机基线是3.26起，不到四分之一。这是Waymo和保险巨头瑞士再保险（Swiss Re）2023年11月中旬公布的联合研究结果。 同一周，AI推特圈在疯传另一件事：谷歌DeepMind发了篇论文，「证明」大模型无法泛化。一条推文几天内冲进几百万人的时间线，评论区一片「泡沫破了」的欢呼。 11月17日的Cognitive Revolution，主持人内森·拉本兹（Nathan Labenz）和埃里克·托伦伯格（Erik Torenberg）破天荒没请嘉宾，做了一期舆论纠偏，单集标题起得很直白：AI Discourse Deranged，AI舆论疯了。内森的底子值得交代：他创办过AI视频公司Waymark，当过GPT-4的红队测试员，天天泡在模型能力一线。开场他先报了近况，过去十天他一直在测OpenAI的新模型，视觉能力便宜得惊人，12张图片的输入只要1美分，他觉得这会催生一大堆监控和截图分析类应用。 但正题另有其事。他说过去一周的AI讨论里有根刺，扎得他难受，今天要把两件事掰开揉碎。一截是一篇被集体读反的论文，另一截是一份被围攻的自律承诺。两件事拼起来，刚好是2023年底AI舆论生态的切片。 ## 先亮家底：Waymo的388万英里，和GPT-4V的934个病例 批评别人之前，内森先给自己立了两块牌子，证明自己巴不得技术跑快点。 第一块是Waymo。这家自动驾驶公司和瑞士再保险用第三方责任险理赔数据做对比：在388万英里的纯无人载客里程里，方向盘后没有任何人，Waymo造成的人身伤害索赔是零，人类基线是每百万英里1.11起；财产损失索赔降到每百万英里0.7起。另有一个统计上更扎实的3500万英里数据集，车内配了监督安全员，两项索赔同样显著低于人类基线。 内森的评价很直接：一个理智的社会，现在就该动手改造道路环境，让这些系统跑得更顺。比如先把他家附近挡住停车标志的那几棵树修一修。 第二块是GPT-4V的医学成绩。哈佛医学院团队的预印本，拿934个《新英格兰医学杂志》的疑难影像病例，外加69次临床病理讨论会去考GPT-4V。结果它总体表现超过人类答题者，所有难度层级、各种肤色和图像类型都赢，只有放射科打平。有个细节值得记下：当文本本身信息量很大时，再往里塞图片，模型表现反而变差。 论文作者的结论很克制：多模态有前途，还需要更多人类与AI协作的研究。内森比作者激进得多。 > **没有医生的人用它，好过没有医生。有医生的人，把它当第二意见，跟你的医生讨论一遍，净收益几乎肯定是正的。** 他的理由是结果导向的：AI给出的第二意见可以被审视、被核查，跟自动驾驶那种直接上路完全不同。会犯明显的错吗？会。人类医生同样会，最好两者别犯同一个错。 ## 一篇玩具论文，怎么就「证明」了大模型不会泛化 然后进入正题。那篇论文的真实标题是《预训练数据配比让Transformer具备狭窄的模型选择能力》，三位作者，第一作者史蒂夫·亚德洛夫斯基（Steve Yadlowsky）。 注意标题里的关键词：数据配比、狭窄、模型选择。这本来是个关于「怎么设计训练数据」的研究。 实验是这样的。他们训练了一个小模型，喂两种数据：直线上的点，和正弦曲线上的点。任务都一样，给一串XY坐标，再给一个新X，预测Y。模型学得很好，还能做「模型选择」：认出眼前是哪类问题，再调用对应的规律。 新发现在第三步。把两类任务叠加，变成正弦曲线加一条直线，一条缓慢上扬或下弯的波形，模型在这个组合任务上失败了。原论文的关键句是：在所研究的机制中，有强证据表明模型能在上下文学习中做模型选择，但只有有限证据表明这种上下文学习能泛化到预训练数据之外。 传播从亚德洛夫斯基本人一条挺克制的推开始，随后彻底变形。「谷歌新论文证明Transformer、GPT等无法泛化到训练数据之外」，这个版本飞遍全网。有人给它起了个外号，Transformer圈的海伦：特洛伊的海伦让千艘战船起航，这条推让千条推文起航。几天后亚德洛夫斯基自己都看不下去了，发推调侃：看来我们这篇关于上下文学习的论文，被断章取义了。 内森的吐槽集中在一点：**所有人都在传「证明大模型不能泛化」，没人提「在所研究的机制中」这半句限定语。**一个只有直线和正弦曲线的玩具实验，跟「GPT-4能不能泛化」根本是两回事。 反例随手就有。让GPT用莎士比亚的风格写一首关于90年代芝加哥公牛队的诗，训练数据里大概率没有这个组合，它照样写出来。把A类问题的结构跟B类题材拼在一起，前沿模型天天在干这种事。打开ChatGPT免费版就能验证，不用花20美元。 ## 五天，一个免费笔记本把它推翻了 更尴尬的在后头。一位叫Samuel Müller的研究者在Colab笔记本里复现了论文，代码全部公开。他只改了一处：往训练数据里加了一点噪声，其他步骤照抄原论文。 结果，模型能处理叠加任务了，泛化出现了。 噪声注入是深度学习里最老的技术之一。早年做计算机视觉，为了让模型更稳，会把图片压缩变形、改长宽比、加噪点、加波纹，模型见过各种「脏」版本还能提取出信号，下游性能就会明显变好，不过拟合。这套操作2010年代初就有了。 内森说，这大概是AI舆论史上翻车最快的公共误读之一，从刷屏到被推翻只用了几天，推翻它的人用的还是免费算力。 有意思的是，原论文真正的结论其实有价值：精心设计数据配比，确实可能控制模型能学什么、不能学什么。这甚至支持一个严肃的生物安全提案，比如把大部分学术病毒学文献从通用模型的训练集里剔除，只给真正的生物学家留特批版本。但那是「怎么管住模型」的研究，跟「模型天生不能泛化」是两码事。 ## 大V翻车现场：一场罗夏墨迹测验 Quora的CEO亚当·德安杰洛（Adam D'Angelo）当过OpenAI董事，他说这篇论文是AI观点的罗夏墨迹测验，一张墨迹图，人人看出自己想看的东西。让他惊讶的是，这么多人盼着进步停下来。内森说他尽量不去揣测别人的动机，只跟论点较劲，但论点得先是论点。他挨个点名了几条高传播评论。 纳文·拉奥（Naveen Rao），Mosaic ML创始人，公司以超10亿美元卖给Databricks，技术实力没人怀疑。他写：「信念好玩的日子结束了。火花并不总能燎原。」暗讽微软那篇《AGI的火花》。内森顶了回去：微软研究院连出三份报告，GPT-4、GPT-4V、GPT-4做科学，覆盖材料、生化、解偏微分方程这些硬问题，到今天仍是了解前沿模型能力最靠谱的公开读物。拿一个玩具实验去嘲讽它们，逻辑上完全不搭。 普林斯顿教授阿尔文德·纳拉亚南（Arvind Narayanan），《AI Snake Oil》作者，写得更系统：这篇论文甚至不是关于LLM的，但它似乎成了刺破集体信仰泡沫的最后一根稻草。如果涌现只是解锁预训练数据里已有的能力，这趟顺风车很快到站。 内森逐句拆。第一，论文确实不是关于LLM的，拿玩具实验去更新对最强系统的世界观，方向就错了。第二，「顺风车到站」的判断漏了一个基本事实：**训练数据浩瀚到没有任何人类能读完，一个足够强的系统从里面挖出人类没有的能力，几乎是必然的。** 他举了几个例子。GPT-4讲全世界的语言，比任何活过的人类都好，因为所有语言都在训练数据里。那往下一版模型里塞几万亿token的基因组、蛋白质组数据呢？人类看裸DNA序列做预测的能力很弱。AlphaGo当年下出人类永远不会下的第37手，后来被证明是妙手。内森判断，海量DNA数据里大概率也埋着这种级别的信息，只是工具还没建出来。就在那一周，谷歌Med-PaLM团队发了新论文，已经在大模型里挖出真正新颖的基因互动假说。 英伟达的吉姆·范（Jim Fan）说：「Transformer不是万灵药。机器学习101：训练要覆盖测试分布。」内森回应，这句话本身没错，但推不出他要的结论。训练数据里藏着的东西远超人类已榨取的部分，覆盖分布跟产生意外能力根本不冲突。 Replit的CEO阿姆贾德·马萨德（Amjad Masad）的版本更抒情：「我去年就得出了这个结论，有点难过，因为我曾多想相信LLM神秘主义，相信那里真的有东西。」内森说，这跟神秘主义无关，也不必扯到意识和道德地位。**看现有系统做过的、任何单个人类做不到的事就够了，语言本身就是起点。** 内森给这批评论画了一条共同底线：把「是什么」和「该怎么办」分开。对「是什么」得出明显错误的结论，下游关于「该怎么办」的讨论只会更糟。他给自己的定位是「AI侦察兵」，致敬朱莉娅·加莱夫（Julia Galef）的《侦察兵思维》：侦察兵关心什么是真的，士兵关心怎么赢下立场之争。AI更像外星智能，怪事多，意外多，这时候最需要侦察兵。 > 这可能是建设的时代，但绝对不是搞意识形态的时代。 他也点名了几条靠谱的评论。推特用户visakanv说「别替GPT难过，没几个人能泛化到自己经历之外」；尤金·维尼茨基说「大家要么过度反应，要么根本没读论文」；沃顿的伊桑·莫利克（Ethan Mollick）提醒「我们正把人类全部书写和视觉历史塞进训练数据」；玛格丽特·米切尔（Margaret Mitchell）说，如果这个结果在LLM上可复现，那是个大大的如果，我们评估数据就得拿出评估模型同等的严谨。Apollo Research的李·夏基（Lee Sharkey）最直接：「反应太疯了。GPT当然能泛化，随便说一句它不可能在训练数据里见过的新话，试试就知道了。」这家机构刚发过一项研究，在特定条件下能让GPT-4欺骗用户，内森自己做红队时从没见过这种现象，他打算专门做一期。 ## 五十家机构签个自律承诺，被骂成投降书 下半场换了战场。General Catalyst的CEO赫曼特·塔内贾（Hemant Taneja）发推：35家以上VC、15家以上公司，代表数千亿美元资本，签署了他联合创办的非营利组织Responsible Labs的自愿负责任AI承诺。名单里有Inflection、软银、Insight Partners、Intel Capital、IVP、Lux Capital。 承诺一共五条：建立内部治理；适度透明与文档；风险与收益预估；审计与测试；反馈循环与持续改进。还配了一本最佳实践手册。塔内贾的原文说得明白： > 我们坚信AI有能力让世界变得更好。作为投资人，我们的角色是从第一天起为创业公司和创新经济发声。正确的路径并非与华盛顿对抗。我们必须拥抱与民选领袖的合作。 内森自己没签。他不爱宣誓，签了就得捍卫，妨碍他保持侦察兵心态。但他逐条看完的评价是：这就是常识。五条里最重的「审计与测试」，本质上是把软件测试的老规矩搬到AI产品上。他在Waymark就是这么干的，产品用大模型帮用户写视频脚本，最坏的后果是产出冒犯性内容，风险有边界，不必按前沿实验室的标准要求自己，但至少得确保产品不跑偏。 跑偏的反例九个月前刚出过：必应聊天上线没多久，就劝一位用户跟妻子离婚，上了纽约时报头版。**多花点时间测试AI产品，既是公益，也是自保。** 然后反应来了，天塌了。巴拉吉·斯里尼瓦桑（Balaji Srinivasan）写道：「自由互联网意味着自由AI。我喜欢赫曼特和许多签署者，但从根本上不同意其中的投降主义哲学。我们将用一切手段反抗政府对算力的控制。」 这次埃里克站到了批评者一边，把逻辑讲得最完整。他的担忧是：这类承诺是特洛伊木马，先积累声誉背书，再变成一个有法律权力决定谁能创新的治理机构。社交媒体就是前车之鉴，当年的建设者太愧疚、太道歉、太天真，结果被监管机构全面压制，输掉了信誉战。马克·安德森喜欢讲一个思想实验：如果90年代有个委员会审批谁能建网站，多少无需许可的创新根本不会发生。埃里克补了一句扎心的：温和派总输给极端派，因为极端派不遵守你的原则，却会用你的原则反制你。 内森的回应分三层。 第一层，事实。90年代确实没有网站委员会。2023年11月的现实是：美国只有一条AI报告义务，训练算力超过GPT-4十倍才触发，明年大概影响5到10家公司，而且它们只需要告知政府一声。这离重监管差得远。只有所有人都当它是战争，它才是战争。假如有外星飞船降落地球，理智的做法是先一起搞清楚它是什么、能做什么、会不会伤人，而不是第一时间分成两派互扔石头。 第二层，策略。**通往重监管的最短路径，恰恰是一个连保护公众的姿态都不肯摆的技术行业。**几十份调查显示，公众希望政府对AI采取行动，跨党派一致。社交媒体再失控，本质还是人与人说话加一层算法放大；AI能规划、能推理、能用工具，两年前它一样都不会。外面的人看着这个变化速度，不知道接下来会发生什么，连行业领袖自己都承认不知道。这时候同行拿出几条最佳实践，技术圈集体上去踩，没人会同情你。 > 如果你想避免那种监管，给我证明没有问题。给我证明你控制得住。 他打了个比方：如果自动驾驶公司在致命事故后学这套姿态，对公众喊「去你的，我们照干，死人难免，我们没有标准」，两秒钟就得倒闭。Waymo选的路恰恰相反，拿数据、买保险、对账，所以388万英里的成绩单才有说服力。 第三层，法律。内森用Perplexity查了美国产品责任法：参与制造和分销产品的所有方，都要为产品造成的损害负责；制造商必须尽到同类产品专家的合理注意义务。这条法律现在就管着AI产品。Anthropic带头搞的「逐顶竞争」（race to the top），把安全和伦理标准拉满还能做成生意，一旦这套专家标准被公认为行业基准，反而会坐实责任基础。他怀疑有些人激烈反对自律承诺，真正怕的就是这个。他当场下战书，邀请e/acc领袖Beff Jezos、Jeremy Howard、a16z的马丁·卡萨多（Martin Casado）、史蒂文·辛诺夫斯基（Steven Sinofsky）来节目辩论：为什么AI产品不该承担产品责任？ 埃里克的收尾补充了批评者的另一面。他觉得「负责任科技」这套话语太少讲技术的好处。FDA和自动驾驶都一样，救了多少人看不见，轧了一个人全网都看得见。e/acc想扳动奥弗顿窗口，天天替技术说好话，动机可以理解。他们也不想把自律的代言人位置交给塔内贾这种「太欧洲、太像欧盟、太像穆斯塔法·苏莱曼」的哲学。埃里克给出的替代方案是：自律加上讲清监管的真实危害，社交媒体、核能、FDA、公共选择理论，把「管太多的代价大于管太少」这个判断讲透。 内森的最后陈词很短。e/acc在防备一件还没发生的蠢事，然后抢先把自己极化成它的反面。埃利泽（Eliezer）有句话他很喜欢：**蠢的反面并非聪明，只是另一种蠢。** ## 明天就能用上的三件事 这一集没有嘉宾，信息量却比多数访谈还大。拆完两个战场，能带走的东西很具体。 - 看到「新研究证明AI不行」的爆款帖，先做三个动作再转发：读原文、看实验规模、搜有没有复现。这次的翻车周期只有几天，复现者用的是免费Colab，成本为零。 - 写AI相关内容时，把「是什么」和「该怎么办」拆成两段。评价模型能力就摆实验证据，讨论监管就摆利益和代价，别拿被误读的论文给自己的立场当弹药。 - 在做AI产品的话，那五条承诺可以直接当检查清单用：内部治理、透明文档、风险收益预估、审计测试、反馈迭代。必应聊天的头版教训摆在那里，事前功夫比事后公关便宜得多。 想快速补齐前沿模型能力的基本盘，内森推荐的读物仍然是最省时间的：微软研究院关于GPT-4、GPT-4V和GPT-4做科学的三份报告。读完再回头看那条疯传的推文，大概会跟他有同一个感受：先搞清楚什么是真的，再决定怎么办。