150万个AI写的童话，让3300万参数的小模型推理赢了GPT-2

先做一道填空题：「莉莉喜欢猫和狗，她向妈妈要一只小狗，妈妈没同意，于是她要了一只……」

答案显然是猫。15亿参数的GPT-2 XL填的是「狗」。而微软研究院两位研究员训练的一个3300万参数小模型，填对了。

体型小约45倍，反而在这种最基础的排除推理上翻了车。这背后藏着一整套关于语言模型如何分配「脑容量」的逻辑。

2023年6月，Cognitive Revolution播客请到了研究背后的两个人：Ronen Eldan和Yuanzhi Li，都在微软研究院工作。他们做了一个叫Tiny Stories的数据集，用GPT-4生成了约150万个儿童故事，词汇量限制在三岁孩子能听懂的约2000个单词。然后他们在这份数据集上训练了一批小模型，从100万到3300万参数，最大的那个也只有GPT-2的2%。

结果，这些小家伙不光能讲通顺的故事，还在推理测试里赢了体型大得多的前辈。整期节目信息量很大，挑最硬核的部分讲。

为什么要造「语言版CIFAR-10」

Ronen是纯数学出身，Yuanzhi Li做了七八年机器学习理论。两人进入大模型领域，撞上了同一堵墙：验证想法太贵。

Ronen的描述很直白：想法一抓一大把，但要检验一个想法好不好，几乎总要跑一个烧大量GPU的实验。训个小模型吧，它根本生成不了通顺的文本，和真正的LLM体验差得太远；想获得真实体验，就得堆算力。

Yuanzhi Li补了一个时代对比。他做视觉研究那几年，CIFAR-10、MNIST这些经典小数据集只有5万张图，训练一天出结果，而且结论能反映真实大模型的行为。到了语言模型时代，节奏全变了。他看到不少博客感叹，现在做机器学习博士没有A100根本玩不转，而全世界用得上这种算力的博士生，大概只有1%。

两人想做的，就是把「好日子」搬回语言领域：造一个语言版的CIFAR-10，保留自然语言的真实性，把复杂度砍下来，让实验迭代快起来。

一万美元，150万个故事

造数据集的灵感来自人类发育：三岁小孩说话已经大体连贯，说明「讲通顺的英语」所需的知识量其实不大。把数据集约束在这个水平，就有可能用小模型复现大模型的核心能力。

具体分三步。

• 先圈定约2000个三岁孩子能理解的单词，作为全部词汇池。
• 每次随机抽一个动词、一个名词、一个形容词，扔给GPT-4，让它编成一个有创意的故事。这样的调用做了约100万次，得到约150万个故事。
• 再加料：可以要求故事带反转、坏结局、对话等元素，进一步拉开多样性。

多样性是整个工程的命门。如果直接让GPT-4「写个故事」，哪怕把温度调到1，大约五分之一的故事都会是「小孩害怕公园滑梯」。他们真做过这个实验。模型在没有任何条件约束时，只会吐出训练语料里最高频的情节。

GPT-4和GPT-3.5的差距也在这项工作里显形。随机抽到的三个词可能毫不相干，比如「ancient、thunder、sad」，要求自然地织进一个故事。GPT-4基本都能编得流畅，GPT-3.5有时写出来的故事词都出现了，衔接却很生硬。两位作者还提到，没经过RLHF的基座模型连「指令」这个概念都未必理解，让它写故事，最合理的补全可能是「我不想写」。

效果如何？主持人Nathan Labenz在节目里读了论文的一个样本。提示词是：Tom有一大锅汤，想分享给Jane，Jane尝了一勺，皱起眉头，汤是……他们训练的2800万参数版本接得严丝合缝：汤很苦，Jane不喜欢，Tom道歉，找出面包和奶酪，还说「它们不苦，又甜又好吃」，Jane开心地道谢。一个2800万参数的模型，讲出了一个有情绪、有转折、有对话的完整故事。

成本方面，Nathan算了笔账：按每个故事约300个token、GPT-4零售价估算，复刻整个数据集大约花1万美元。两位作者确认了这个数量级。

还有个数字很关键：2000个词随机组成动词、名词、形容词三元组，可能性在10亿量级，实际只写了100万个故事。模型见过的组合只占可能空间的约千分之一。所以当它后来对一个从没见过的词组合编出通顺故事时，就说明它内化了一些规律，光靠背题库背不出来。

推理被排在清单最后

论文把「讲通顺的话」拆成了一层层微技能，他们称之为「逻辑原语」，像爬楼梯。

第一层是语法。「Amy wanted」后面大概率接「to」，这不需要任何知识。第二层是事实。「Jack was hungry, so he went looking for some...」，要补对这个空，得知道饿了要找吃的。第三层才轮到推理，比如否定、排除。

开头那道猫狗填空题，正好横跨三层。只懂语法，知道该填名词；懂上下文，知道候选是猫和狗，而且「狗」在前文出现了两次，是高频词；再多走一步排除法，才能得出「猫」。GPT-2 XL就卡在第二步，它填了「狗」。Tiny Stories的大号小模型走完了第三步。

为什么大模型反而不会？两位作者给了一个扎心的解释：容量分配。

GPT-2在全网语料上训练，损失函数里塞满了各种知识。Ronen说，模型肯定先学会「拜登是美国总统」，远早于学会推理，这是他的推测，但他相当确定。Yuanzhi Li补了量化观察：网页文本里，平均每20到30个词才需要动用一次推理，每3到4个词就要用语法。推理是种稀缺需求，模型得把损失压到很低很低，才轮得到学它。

实验数据符合这个阶梯：100万参数的模型几乎讲不出连贯故事，涨到1000万，几乎所有故事都通顺了；推理更晚，100万到500万参数的模型在推理测试上全军覆没，3000万参数的模型几乎全对。

Yuanzhi Li还提了个对照：图像分类里，模型从90%准确率提到95%，没人会管这叫涌现。语言模型里，同样5%的损失差距，可能恰好落在那几个需要全局一致的词上，比如「Bob不喜欢甜食，所以他吃了……」，模型补「糖果」还是「披萨」，一个词定生死。涌现感来自这些低频但致命的词，它们在总损失里占比很小，却定义了模型懂不懂自己在说什么。

Ronen还推荐一个练习：随便打开一篇维基百科，逐词问自己「预测下一个词需要什么能力」。你会发现大部分词靠局部上下文就能猜到，推理只在少数地方才被需要。

节目里还有一段关于人类小孩的对照，很有意思。Nathan发现论文说模型先学语法再学连贯，可他家的孩子明明先有强烈的意图连贯，想要冰淇淋就死咬着冰淇淋不放，语法反而是后补的。

两位作者的解释是激励机制不同。孩子的目标是拿到冰淇淋，父母对语法错误极其宽容，所以孩子没动力先练语法。Yuanzhi Li的类比是，小孩在跑一个以父母反馈为奖励信号的RLHF算法。语言模型的目标是预测下一个词，语法错误几乎每个词都要扣分，全局连贯只在少数词上体现，于是它先苦练语法。

孩子还有个先天优势：和物理世界实时互动，脑子里始终挂着当前话题的实体，聊着一本书就不会突然跳到汽车上。GPT-2 XL做不到。论文里有个雪人故事的续写样本：两个孩子堆雪人，狗把雪人撞塌了，GPT-2 XL接着写雪人长出红色的真头发、Ben亲吻了它的眼睛、「他拯救了世界」。Ronen点评：除了幽默感不错，它的每一句话都只依赖上一句，跨句的全局一致性为零。

顺着容量分配的逻辑，Yuanzhi Li认为未来设计数据集的核心是配比：知识是推理的燃料，一点没有不行，比如不懂「糖果是甜的」，就推不出Bob不吃糖果；但知识塞太多，模型就会把容量全花在记忆上。网页数据恰恰没做这种平衡。Ronen则泼了盆冷水：人类备考SAT时，可以先把逻辑规则和知识分开学再合并，他猜测语言模型做不到这一点，数据集里不充分混合知识和推理，模型很难自己学会合并。Nathan提到MosaicML给客户做定制训练时也印证了这一点，他们始终要混入通用预训练数据，否则模型会灾难性遗忘。

深度管跳步，宽度管库存

论文还回答了一个架构问题：Transformer的层数和每层宽度，各管什么？

他们的结论：深度决定信息能在词元之间来回渗透几次，大致对应能做几级逻辑跳步；宽度决定向量空间能塞多少实体，对应能存多少事实。

还是猫狗的例子。要推出「猫」，信息得跳两步：第一步，「不」这个词元要进入「狗」，组成「不是狗」；第二步，「不是狗」要进入「猫或狗」这个集合，得出只剩猫。两次全局注意力，对应两个逻辑跳步。

而「法国的首都是」这种填空，只需要一张查询表：把「首都」和「法国」对上号，查出「巴黎」。这活儿交给宽度就行，向量空间越大，能塞的实体越多。

但事情没有这么死。Yuanzhi Li提到团队另一个叫Lego的合成推理任务，发现层数和推理步数确实强相关，可模型也能找到聪明的办法在单层里完成多级跳步，代价是把中间层撑得很大，参数量从N涨到N的平方。深度换效率，宽度换暴力，是个权衡。

Lego实验还有个泼冷水的发现。他们原本以为预训练过的BERT学推理快，是因为它「学会了推理」。挖进去才发现，预训练只是恰好初始化了一些有用的注意力头，让模型能精确地看相对位置、比较两个词元。当下流行的「代码预训练提升推理」的说法，Ronen认为解释可能同样朴素：那些简单但必需的组件提前就位了，网络并没有长出什么高级推理回路。

小模型的内部，干净得反常

可解释性部分是整期节目最开眼的内容。

先看注意力头。他们观察到清晰的二元分工：一类头只看距离，一类头只看语义，几乎没有混合。距离头按词元间的远近分配注意力，短的管语法，长的负责全局一致。这活脱脱是ALiBi方案的翻版，而ALiBi正是Claude的10万token上下文、MosaicML的6.5万上下文这类长文本模型背后的位置编码技术。区别在于，ALiBi是工程师手工设计的，Tiny Stories里是模型自己长出来的。

语义头干着另一件事：有的头会让所有词元对称地关注主角名字，比如Tom和Lucy。模型在标记「这个故事讲的是谁」，保证后续生成不跑偏。按常理推测，注意力头应该是一团各管一点的混沌，没人料到会分得这么干净。

再看神经元。他们沿用了2015年Jiwei Li等人一篇NLP可视化论文的思路，找出让每个神经元激活最强的词元，看有没有共同主题。在GPT-2 XL里，两位作者找不到任何规律，同一个神经元有时对名词放电，有时对动词放电。但在小模型里，有一个神经元专门在主角出场时激活。这很合理：如果让程序员写一个补全故事的程序，他也会先写个函数定位主角名字，后面到处都要用。很可能还有注意力头专门读取这个神经元的输出，两者连起来，就是一套把主角名字复制到全文各处的机制。

为什么小模型反而更可解释？Ronen给了一个信息论式的回答：同一个问题，神经网络的解有无穷多种，绝大多数解是一锅粥，每个神经元都掺和一点所有任务，而损失函数不会惩罚这种混乱，熵就藏在一锅粥里。小模型的神经元太少，没本钱混乱，只能各自对齐到有意义的任务上。可解释性是「被迫」出现的副产品。

模型一大，就有奢侈去用五个头模拟一个头、用三层干一层的活，内部自然又糊成一团。Yuanzhi Li确认，他们试着解读更大模型的神经元时，观察到了这种劣化。

骑马，而不是解剖

节目收尾聊到一个更大的问题：小模型上的发现，能迁移到大模型吗？

Ronen坦承这是开放问题。Chinchilla和Scaling Laws这些工作暗示大模型里可能存在普适现象，但没人证明Tiny Stories上的规律适用于万亿token级别的训练。这也是整篇论文最悬而未决的地方：假如某个架构在Tiny Stories上表现更好，有什么理由相信它在真正的LLM上也更好？

对可解释性，Ronen本人偏悲观。他认为神经网络找到的解大概率就是一团乱麻，没有理由假设人类真能读懂它，就像我们对人脑的理解至今也很粗浅。

Yuanzhi Li给出了另一条路：与其解剖，不如做心理学。像微软那篇Sparks of AGI论文那样，通过大量对话摸清模型擅长什么、什么情况下失手。Ronen用一个比喻接住了这个思路。

蒙古人并不了解马的生物学，照样把马用得非常可靠。我们驯服马，靠的是行为对齐，靠的是理解马喜欢什么、怕什么，而不是读懂它的每一个神经元。

控制语言模型，可能更像骑马，而不是做微生物实验。Ronen对「读懂内部」悲观，对「驯服并可靠使用」乐观。

他还有一句收尾的话：他在大模型身上看到的是一场「数学奇迹」。梯度下降加一个聪明但简单的架构，喂进海量语料，得到的竟然是一个能真正合成新内容、展现推理迹象的网络，而不只是背下了文本。Tiny Stories就是这场奇迹的迷你版。

最后，给几条明天就能上手的东西。

第一，去Hugging Face搜Tiny Stories，把模型拉下来玩。最大的也只有3300万参数，网页上就能加载，笔记本就能跑。Nathan在节目里强烈推荐这个做法：自己设计几个推理测试，比如猫狗排除题、否定题，试出模型的技能边界。亲手做过一遍，比读十篇二手解读记得牢，有发现还可以去推特找Nathan Labenz，他说很想知道。

第二，做数据集或微调的从业者，记住知识密度这本账：数据里知识越密，小模型越会把容量花在记忆事实上，推理能力就越晚出现。想练能力，就得像Tiny Stories那样把知识压到最低配，让连贯性和推理在损失里占大头。

第三，关注课程学习这个方向。Yuanzhi Li的下一步是把Tiny Stories扩展到小学知识水平，目标是让3亿参数左右的模型覆盖小学课程内容。如果这条路走通，语言模型研究也许能回到「一台笔记本、两天训练」的时代。

150万个童话花了一万美元，但它撬开的这串问题清单，值钱得多。