# 302个神经元的蠕虫就会做选择题：6亿年5次突破，看AI还差哪几步 > Cognitive Revolution No. 102 中文精读 - 原标题：A Brief History of Biological and Artificial Intelligence with Max Bennett - 发布日期：2024-02-07 - 主持：Nathan Labenz - 网页版：https://cogrev.1mmt.com/ep/102-a-brief-history-of-biological-and-artificial-intelligence-wi-HTvaAv.html - 精读字数：约 6253 字（阅读约 14 分钟） > 本文为 cogrev.1mmt.com 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 珊瑚虫的神经系统里，连最基础的联想学习都找不到。研究者把闪光和电击反复配对，它始终学不会见光就缩。而一种体长一毫米、全脑只有302个神经元的蠕虫，已经会在食物和毒物之间做权衡：食物浓度越高越敢冒险，肚子越饿也越敢冒险。 这两个事实之间隔着大约6亿年，也隔着Max Bennett的一整本书。 Max Bennett是AI创业者，BlueCore联合创始人，早年给大型电商做推荐系统和用户分群，用他自己的话说，属于transformer出现之前的老派AI。做商业化项目时他一直被一件事困扰：机器学习模型擅长的东西，和人脑擅长的东西，差距大得离谱。模型算力惊人，却搞不懂怎么搭配一身衣服，这种人类不用过脑子的事。 于是他给神经科学家发邮件、啃教科书，自学起步，后来跟卡尔·弗里斯顿、约瑟夫·勒杜、大卫·雷迪什这些人成了合作者，发了几篇论文，最后停工一年写出《智能简史》（A Brief History of Intelligence）。书的方法论是把三个领域拼在一起：进化神经科学讲清6亿年里大脑怎么一步步长出来，比较心理学推断各阶段祖先能干什么，AI负责当试金石。他的说法很直接：一个概念要是真被理解了，就该能做出最简版本去测试，而AI教给我们的一课是，很多直觉是错的。 主持人Nathan Labenz说自己一看到书名就下了单，因为他一直在数：AI要在功能上追平人类，还差几次这种量级的概念突破？他的答案是两三次，如果注意力机制真的就是全部所需、超大规模堆算力能解决一切，一次都不用；但超过五次他会很意外。Max这本书恰好给出一条五格的进度条：定向、强化、模拟、心智化、语言。这期播客讲了前四格，第五格留给书。 ## 两个前置争论：智能不用定义，AGI可能不存在 进入正题前有两个争论值得交代。第一个是智能的定义，全书故意没给。Max的理由很实际：各家定义吵来吵去，没人因为定义不同就换研究方向。李飞飞的定义宽泛，一个能在变化环境中应对挑战、解决问题的智能体；也有研究者干脆把智能等同于学习。照哪个定义干活都一样，争论定义浪费时间。Nathan深表同意，他见多了“它到底有没有真正理解”这种没有出口的辩论。 第二个争论更要紧：AGI到底存不存在。Nathan把分歧摆上桌，一边是智能会从单一原理中涌现，一边是一二十年后大家发现根本没有什么AGI，只有不同程度的泛化，每个智能体都特化于自己要面对的一组任务。他自认站后者，跟杨立昆（Yann LeCun）一个阵营。**他的判断是，最终会证明没有包治百病的AGI，只有特化于不同领域的智能；人类谈论智能时，大部分时间里想要的其实是一整套像人的能力组合。**造类人智能的一大动机，是想搞懂人类自己。 ## 第一次突破：定向，大脑生来是为了做选择题 6亿年前的地球没有陆地生命，绝大多数生物是单细胞，最早的动物长得像今天的海葵、水母和珊瑚虫，属于刺胞动物。它们有神经网，没有大脑，神经网基本是一堆各自独立的反射。珊瑚虫的策略是守株待兔，触手张开，等食物撞上来。 变化发生在大约5.5亿年前。化石证据显示，最早有大脑的动物是一种米粒大小的蠕虫状生物，身体两侧对称，今天的线虫是它们的好代理，秀丽隐杆线虫那302个神经元被科学家研究了个底朝天。 这种蠕虫没有眼睛，感官简陋，只有几个探测气味、光线和触碰的神经元，但找食物的本事一流。靠的算法叫趋化定向，Max在书里给它起了个名字叫steering：沿着化学浓度梯度走，闻到食物味变浓就继续，变淡就掉头。**不需要理解世界的结构，只要追得上感官信息的梯度，就能解决导航问题。** 那为什么非要长出一个大脑？因为要做选择题。有个经典实验：培养皿一边放食物，中间拦一道铜屏障，线虫讨厌铜。结果它们真的会权衡，翻不翻这道毒墙，取决于食物浓度和自己饿不饿。散装的反射网做不到这一点，得把探测好东西和坏东西的信号汇进一个中枢，互相抑制，最后输出一个统一的动作。大脑最初就是干这个的。线虫脑子里那些中间神经元，已经隐约有今天神经网络中间层的影子。 定向算法还送了两样副产品。第一样是效价，把世界分成好和坏，AI圈管这叫奖励。线虫的感官神经元直接连着运动指令，闻到食物气味直接触发前进，好坏是天生的硬编码。人不一样，视网膜神经元不编码好坏，判断发生在脑深处。第二样是情绪的雏形。真实世界的气味不是干净梯度，是乱飘的烟羽，所以线虫进化出了行为状态：多巴胺神经元直接伸到体外探测食物，碰到食物就大量释放多巴胺，触发一段持续的局部搜索，因为这个世界有个特点，找到一粒食物，附近大概率还有。血清素则在食物咽下喉咙后发出吃饱信号，让蠕虫停下来。**多巴胺管追寻，血清素管满足，这套模板从线虫一路用到了人身上。** Max给了一个很妙的现代对照：初代扫地机器人。罗德尼·布鲁克斯设计的早期Roomba不建地图，撞到东西就随机转向，跟趋化定向一个思路。后来工程师加了dirt detect功能，一旦检测到脏东西，就在附近打转多扫一会儿。理由跟多巴胺一模一样：这里有一块污渍，附近大概率还有。 ## 第二次突破：强化，AI卡了几十年的坑，鱼脑早有解法 快进大约5000万年，寒武纪大爆发，节肢动物统治海洋，有些掠食者大到跟人差不多。我们的祖先是一类小鱼，处在食物链中游，但它们演化出了脊椎动物大脑的基本模板。Max强调了一个冷知识：**想看懂人脑，鱼脑能带你走完70%的路**。前脑、中脑、后脑、皮层、丘脑、基底神经节、多巴胺系统，全都有，工作方式也大同小异。 鱼和线虫的关键区别是能试错学习。训练鱼钻圈、走迷宫都不难，线虫做不到。桑代克上世纪初的谜箱实验早就揭示了这类学习的形状：他本来预期找到顿悟，猫一旦想通，逃脱时间会瞬间归零；也想找到模仿学习。结果两个都没出现，看到的是一条平缓下降的曲线。猫只是随机乱试，做对的行为被加强，做错的被削弱，试多了平均成功率就上去了。他管这叫效果律。斯金纳后来把这套理论推到极端，声称所有学习都是试错，这个被证伪了，但试错学习的覆盖面确实大得惊人。 有意思的是，AI照着桑代克的直觉去实现，失败了。1950年代马文·明斯基做了个叫SNARK的小系统，想靠成功后强化最近行为，让一个智能体学会走迷宫，怎么都不行。问题叫时间信用分配：一步棋赢下整盘棋，立功的往往在中盘，只强化最近的行为学不出聪明智能体，全部强化又慢到没法用。这个坑一卡就是几十年。 解开它的是理查德·萨顿的时序差分学习。核心洞见：强化信号来自预测的变化。下棋时走了一步，突然感觉局面大幅变好，那阵兴奋感就是强化信号。系统里得有两个过程，一个决定下一步怎么走，另一个持续估计当前局面的胜算，用估计值的变化去训练前者。TD-Gammon是第一个成功应用，后来才有了下棋下到冠军的那一系AI。 然后Max把镜头切回鱼脑：基底神经节的结构跟这套算法对得上。多巴胺神经元发放的时机，实测不在奖励到手那一刻，而在预测要变好的那一刻，猴子和小鼠的记录都验证了这一点。这个现象一度是神经科学的谜团，直到有人意识到萨顿的算法在机器上真的管用，才换了个解读。**AI先解决了工程问题，回头一看，大脑用的就是同一套解法。** 试错学习一旦解锁，连带出两个新能力。一是皮层做模式识别，有些鱼能认人脸。二是三维空间地图：把鱼放进25个容器的网格，只给墙上一个蓝点当线索，食物藏在其中一个容器下面，鱼最终能直奔那个位置，换了起点照样找到。它学到的东西是一个从任意位置指向目标的导航向量，比死记一串左转右转的动作鲁棒得多。这个结构后来进化成了哺乳动物的海马体。 Nathan在这段对上了好几个AI里的熟面孔：GAN的生成器和判别器互相抬轿，RLHF靠奖励模型给输出打分，OpenAI在2023年靠给数学推理的每一步逐步给奖励大幅提升解题能力，还有早期网页智能体因为几乎拿不到正奖励而训练不动的窘境。稀疏奖励问题，6亿年前大自然就遇到过。 这段还有个插曲。Nathan问，能不能给线虫外挂一个卷积网络当捕食者探测器。Max的回答引出了进化最硬的约束：**进化的每一步都必须当下有用**，它没有远见，不能为了三步之后的收益先垫资。线虫的联想学习被锁死在两秒窗口内，一个昂贵的模式识别器官对它未必划算，也可能根本不在进化的可达路径上。透镜状眼睛怎么一步步长出来，至今还是个迷人难题，难就难在每一小步都得要么中性、要么有益。 ## 第三次突破：模拟，老鼠会在脑内彩排未来 1.5亿年前，我们的祖先是一类体长约10厘米的小哺乳动物，在恐龙眼皮底下打洞过日子，接近食物链底部。就在这个小脑袋里，皮层长出了新版本：早期脊椎动物的皮层是三层，新皮层是六层。人脑上那些褶皱，全是新皮层。 在人脑里，新皮层好像什么都管。视觉皮层受损的人会说自己瞎了，挥手没反应，但朝他脸上扔东西他会眨眼，给他看恐怖图片他心率会飙，只是说不出为什么，这叫盲视，因为视觉信号还有一条绕过新皮层直达杏仁核的旧通路。运动皮层受损的灵长类会瘫痪，大鼠却不会：切掉大鼠的运动皮层，它照样跑跳，只是学不会新的动作技能，精细动作变差。 Max从这个差异里读出关键：**运动皮层最初的功能是运动规划，动作之前先在脑子里过一遍。**蜥蜴跑步不提前规划，所以大多数非哺乳类脊椎动物除鸟以外都笨拙。 新皮层还是一台生成式模型，既能识别世界，也能自己生成样本。这个思路19世纪就有雏形，亥姆霍兹提出知觉即推断：大脑先猜一个世界状态当先验，再拿预测去比对感官输入，对得上就继续用。视错觉就是这套机制的副产品，斑点图一旦被人指出里面有条狗，就再也没法假装看不见了。 更硬的证据来自大卫·雷迪什的位置细胞记录。大鼠走迷宫，海马体里的位置细胞对应它所在的每个位置。但走到岔路口、左右张望的那一刻，位置细胞开始依次播放迷宫里还没走的各条路径。**研究者能直接看着一只老鼠在脑子里把未来演一遍，然后才做决定。**这个现象叫替代性试错。 模拟还解锁了反事实学习。教猴子玩石头剪刀布，它出石头输了，纯试错学习会削弱出石头，下次出布和剪刀的概率各升一半。但会模拟的猴子会想，当时要是出剪刀就赢了，于是下次更倾向出剪刀。猴子正是这么干的。人还能更进一步，看出这游戏纯随机。大鼠的眶额皮层也被拍到过实时渲染另一条没走的路的结局。情景记忆是同一台机器的产物：回忆过去和想象未来是同一个过程，都是渲染一个当下不存在的世界状态。 Nathan问AI这边的对应物，思维链、思维树算不算。Max说规划本身AI五六十年代就有，难的从来是让它在真实世界可用。他把哺乳动物的模拟拆成三个子问题：什么时候停下来想，怎么剪枝搜索空间，怎么评估各个结局。第一个问题他有个假说，不确定性达到阈值就触发暂停；第二个是机器人学的老大难，一个机械臂的自由度就大到没法穷举；第三个是怎么给想象出来的结局打分。用LLM链把三步串起来技术上可行，效果如何很快就见分晓。 这段讨论里Max说了句分量很重的话。他在做微调实验，小数据集微调很快过拟合，模型忘掉旧能力、丢掉泛化。 > “我不认为这是个微妙的边缘案例，我认为这是这些模型工作方式上的根本问题。” 灾难性遗忘一直压着深度学习。哺乳动物大脑似乎只在惊讶的时刻更新权重，某些神经调质只在预测失败时释放，浸泡突触，允许修改。还有个更微妙的东西：人有一个顿悟机制。跟人讲一加一等于四，人不会把它当微调数据收下，而是拼命想把这信息塞进已有的世界模型，塞不进去就先拒绝。Transformer给任何微调数据都照单全收。**拒绝不兼容的信息，可能正是鲁棒性和泛化的来源。** Nathan接了一个自己的观察：Mamba那类选择性状态空间模型，在权重和输入之外加了第三个东西，一个随时间演化、可以选择性更新的状态，跟大脑只在必要时写入记忆的思路隐隐对上了。两人还一致认为，进化史给AI的启示从来是叠加而非替换，状态空间模型大概率不会杀死transformer，会被杂交进来。 ## 第四次突破：心智化，给自己的模拟再包一层模型 灵长类出现了三种其他哺乳动物没有的能力，比较心理学在这块争议不小，但证据大体站得住。第一是心智理论。黑猩猩实验里，先让它们玩两副护目镜，一副透光一副不透光，然后两位实验员各戴一副、各拿食物，黑猩猩稳定地走向能看见的那位。另一组实验教它们认带红点标记的盒子有食物，再看实验员一个故意标记、一个假装失手掉落标记，刺激完全一样，它们只去故意标的那盒。 第二是模仿学习。教一只灵长类用耙子取食的独门手法，放回群体，很快整群都用上了。还有证据显示黑猩猩会主动教学，纠正幼崽钓白蚁的手法。第三是预判未来需求。一项对比松鼠猴和大鼠的实验里，动物可以在高奖励但之后长时间没水，跟低奖励但马上有水之间选，猴子会为了未来的渴选低奖励，大鼠不会。人类去超市囤一周的粮，干的也是同一件事。 脑子上对应的变化是颗粒状前额叶皮层，它架在旧新皮层之上，输入大多来自旧皮层和它自己的同类，相当于给模型再建一层模型。损伤研究很说明问题：海马体受损的病人想象未来时，世界描述贫乏；前额叶受损的病人能把想象中的世界讲得头头是道，唯独故事里没有自己。**颗粒状前额叶皮层让人能给自己建模，元认知就长在这里。** Max的统一解释很漂亮：三种新能力是同一个新算法的三种应用，模拟自己的模拟。能把自己放进别人的处境，就有了心智理论；能想象自己执行别人的动作、推断意图再虚拟地强化自己，模仿学习就顺了，AI的模仿学习研究也发现关键在推断意图，光照抄动作学不好；能想象未来的自己会渴、会后悔，就能预判未来需求。 书里有个流传很广的故事。研究者门泽尔在一英亩林地里教黑猩猩贝尔记住藏食物的位置，另一只叫洛克的黑猩猩总抢她的食物。贝尔开始等洛克转身再去取，洛克学会假装转身再回头猛追，贝尔又学会把洛克往错误方向带远再折返。一轮又一轮的欺骗与反欺骗，没有心智理论根本解释不了。 Max在这段给了个人机关系的提醒：人类能互相理解，靠的是大家脑子长得差不多，把自己代入对方，平均而言猜得八九不离十。如果AI的内部机制跟人差得远，这套投射就会失灵，得另想办法让机器理解人的意图，也让人理解机器。Nathan补充，GPT-4的心智理论测试成绩已经明显离零，但人类对AI的心智理论反而更难，因为人类直觉老把我们带偏。 ## 明天就能用的四件事 访谈最后聊到架构。生物大脑乱糟糟、不可微、全是反馈环路，AI线性、处处可微。Max的判断是，反向传播不会被整体抛弃，但会被改造，大脑聪明的地方在于决定什么时候更新权重，未来的AI智能体可能需要生成式回放，甚至需要睡觉。宏观架构上，他预计家里跑的机器人不会是单个大模型，物体识别、语言、世界模型、情景记忆各管一摊。至于果蝇全脑连接组，光知道谁连谁远远不够，放电阈值、神经元类型、受体表达、突触学习速率全是变量，想拿它造东西，仍然需要人的品味。Nathan开场引过一个类比：鸟的飞行启发了莱特兄弟，但今天的喷气机早就超过了鸟。**大脑是灵感来源，不是天花板。** 给读者四件马上能上手的事。 - 看AI新闻时拿五格进度条定位：定向、强化、模拟、心智化、语言。新模型是在老格子里提效，还是真的往上爬了一格，判断会准很多。 - 要微调模型的人，把小数据集微调当危险动作对待，它会过拟合并侵蚀原有泛化能力，这是结构问题。留意选择性更新权重、生成式回放这两个方向的进展。 - 搭LLM工作流的人，照哺乳动物的三问设计：加一个显式的“该不该停下来想”判断，用思维树做剪枝，再挂一个独立评估器给候选结局打分。 - 学东西的人，学Max的方法论，把两个不相邻的领域硬拼在一起，看能挤出什么。书值得一读，Nathan推荐有声书版。