Notion AI 负责人 Linus Lee：把语言模型拆开，在意义的空间里编辑文字

Linus Lee 在这期节目里给了一个估计：Notion 用户写出来的文档，95% 是已有文档之间的插值。写方案、写周报、写对外沟通，给定足够的信息，这些活儿大多落在模型训练数据的覆盖范围里。

这个数字直接决定了他给模型厂商的需求排序。作为 Notion 的 AI 产品负责人，他常年和 OpenAI、Anthropic 这些公司对话，清单前排是三件事：少幻觉、听懂复杂指令、便宜且快。通用推理排在最后。

这个排序和很多人的直觉相反。这期 2024 年 4 月的 Cognitive Revolution，主持人 Nathan Labenz 请来的正是这位自学成才的探索者：白天在 Notion 做 AI 产品，业余做出的原型比很多正式发表的可解释性研究还早。Nathan 说他是「独一无二的思考者」，关注了好几年才敢请。

把句子拖向「更开心」的方向

先看他的演示长什么样。

图像侧，他把两张图放进 CLIP 的潜空间做属性合并：从一张人脸出发，叠加另一张图的情绪向量，让人笑起来或皱眉；给一张照片叠上另一张图的风格或光线。操作对象始终是向量，像素只是结果。

文本侧更激进。他训练了一个基于 T5 的自编码器，能把文本变成嵌入向量，再从向量还原回文本，意义损失很小。于是两句话可以在语义层面合并成一句新话，也可以在「乐观明亮」和「低沉克制」的两句话之间插值，生成中间状态的句子。

界面也在进化。早期版本是在高维潜空间里切一个二维切片，屏幕右下角放一句关于婚礼的快乐句子，左上角放一句关于恐龙的，平面上任何一点都是两者的混合。问题很快出现：想控制的属性远多于两个方向，没地方可拖了。

新版换了个思路，像演奏乐器：左手按弦定音高，右手控制音量。左手按住键盘选属性，情绪正负、正式还是口语、主题偏科幻还是别的；右手按住画布上的一句话往外拖，拖得越远，属性越强。按住「变长」拖，句子就变长。所有探索路径自动留痕，长成一棵分支编辑树。

「我最终想做的，是一个让你能在意义和特征的空间里编辑文字的工具。特征可以是：这是疑问还是陈述，确定还是不确定，主题是计算机还是计划，甚至还有一些我们根本没有词去称呼的特征，因为语言模型隐性地理解它们。」

他自己很坦白：这些原型太粗糙，模型太小，编辑精度不够，谈不上日用。真正被他天天用过的，是一个 Obsidian、Roam 风格的大纲笔记应用，自动识别实体并连成网络，用的还是语言模型之前的老技术，但输出够好，确实帮到了他的创造性思考。

频谱图：换一种表示，就多一批操作

为什么盯着这些怪东西做？他的核心类比来自音频。

声音的本体是一段振动，外行看波形。专业音频人几乎不看波形，他们看频谱图：横轴是时间，纵轴是频率，每一行记录某个频段的强度。换成这个表示，贝斯什么时候进来、音色从饱满变柔和，一眼可见，然后直接在频率空间动手：压低频，只给人声频段加混响。这些操作放在波形上几乎无从下手。

语言模型对想法的内部表示，可能就相当于频谱图之于波形。它内部那套高维向量，是一种比自然语言更好的想法表示。他想做的界面，就是把文字从词和 token 的原生空间搬进意义和特征的空间，让人类也能在频谱图上干活。

频谱图还有一个好处：人类对颜色、位置、距离有从小练出来的几何直觉。他想把这套直觉带进和想法打交道的过程，让工作对象从纸上的墨迹变成空间里的东西。

旁证是 Riffusion 这个项目：把 Stable Diffusion 在频谱图上微调，就能生成音乐。语音合成和识别模型本来就在频率空间工作，一个为生成像素设计的卷积架构，跨了两次表示还能用得不错。

Nathan 感叹，AI 领域想法的命中率比他当年做催化化学高至少两个数量级。Linus 的解释很冷静：数据和算力到位、架构别烂到底，大多数想法都能工作，效率差距通常在一个数量级以内，架构更像整个系统里的一个修正系数。从实验室的几块 GPU 到工业级的几千块 GPU 跑数周，中间隔着一次质变，类似实验室制一点氯气和建一座氯气工厂的差别，而这套工业知识现在已经被开源社区和各大实验室积累齐了。

从 GPT-2「验尸」开始的自学路线

Linus 不来自学术界，科班做的是网页产品工程，离训练模型最远的那种工作。一开始读论文很吃力，缺词汇也没手感，他的办法是去 Hugging Face 下载 GPT-2，跑起来，在代码里到处 print。他管这叫模型验尸：机器上有个活物，Python 又看得懂，理解就从这里长出来。

然后是爬墙。遇到问题先搜索，找到 Hugging Face 论坛帖，再深一点是 GitHub issue；再往前走，全网没有共识答案，只能翻三个月前的论文，可能只有两个引用，不知道靠不靠谱；找别人复现的实现，可能只有一个 star，还常常是坏的；最后自己写实现，写完还不确定自己的版本和原作者是否同一套。走到这一步，你就站在了整个研究社区的知识边界上。他现在主攻的方向，把 Conjecture 和 Anthropic 在机械可解释性上的技术移植到嵌入空间，用的就是这种办法，录节目当天早上还在翻只有三个 star 的仓库。

他也修正了自己对研究传播的理解。原来的设想是学界先想出来、写成论文、产业再跟进。现在他看到的是：任何时刻都有一大群人共同掌握「我们已知的一切」，分布在产业、学界和业余爱好者里。潜空间里存在线性特征方向这种直觉，很多人同时有。他选择用网页原型去验证，另一些人花更长时间写成严谨论文，比如 Dan Hendrycks 等人的表征工程，Anthropic 的《Towards Monosemanticity》，公开发表都比他的原型晚。

工具上他是极简派。PyTorch 加 AWS 上的 GPU 实例，理由很朴素：PyTorch 里每个张量都是能拿在手里看的数字，随时 print，随时改一个数看变化。JAX 和 TensorFlow 更像编译器，描述完计算图再编译，性能好，但想随时抠出中间某个值看一眼很费劲。可解释性研究几乎一边倒用 Torch，因为可观测性就是生产力。

Hugging Face 的 transformers 库他嫌太不透明：为百万种用例服务，随便一个函数里上万条分支，想问「这一层到底发生了哪些向量运算」根本没法回答。所以他的默认动作是自己写小工具，重复三次就固化成可复用的库。研究场景里复制粘贴代码毫无心理负担，需求会怎么变没人知道，复制粘贴还顺便帮你避免过度抽象。

模型选择上，GPT-2 是语言模型界的果蝇，还是「核试验之前炼的钢」，训练数据保证没有 AI 生成物；学术界的严肃可解释性工作很多转到 Pythia，检查点齐全、完全可复现。他自己的主力是一件老兵器：基于 T5 微调的嵌入还原模型，配着多年攒下的脚本和数据集，他比作钟表匠的工作间，哪怕另一个行家进来也没法立刻开工，因为工具没长在他手伸向的位置。换个新模型等于重装修。

写代码用 Copilot 打样板，复杂矩阵代数它靠不住。他的常用招数是把一段代码丢给 GPT-4，问「这里面有 bug 吗」：有，它通常能指出来；没有，也能给他一点信心。最终验证永远是自己跑一遍，print 每一步输出。

模型内部：一条主干道和无数岔路

请他描述 transformer 内部发生了什么，他给的画面很具体，主要受益于 Anthropic 的公开工作。每个 token 对应一条残差流，像一条主干道；每个 transformer 块里，注意力机制让各条主干道互相广播「我有什么、我在找什么」，按需取信息合并回来；MLP 层才是真正做计算和意义联想的地方。小模型有 12 到 24 个这样的块，大模型上百。走到底，softmax 输出下一个 token 的概率分布。

采样也有讲究。模型给出的是一整片概率云，逐 token 抽样只是最常见的一种，还有束搜索，还有同时跑一大一小两个模型、放大两者分布差异来逼近更聪明模型的做法。他顺带分享了对人类的心智模型：人脑先行动，再事后编一个因果自洽的叙事，也许这就是所谓的意识。

聊到推理能力，他拆成三层问题。第一层，一个全知的存在能不能手工设置参数，造出会做某项推理任务的 transformer，答案几乎总是能。第二层，随机初始化加梯度下降能不能自己走到那里，小规模实验已经给出肯定信号：给足干净的例子，很小的 transformer 能学到可验证的正确算法，打开权重能看到算法就在里面。第三层才是真问题：现实的训练，有限精度、互联网规模的脏数据，能不能让模型足够接近理想状态。他的担心是数据相对参数太少，模型光靠记忆就能把评测做得很漂亮；要逼出真正的泛化，需要极干净的数据和足够长的训练，让模型「放心地忘掉」背下来的解。

Nathan 提到微软研究院的 Tiny Stories 论文（Ronen Eldan 和 Yuanzhi Li）：把世界缩小，词汇和事实都砍掉，3000 万参数的模型就稳定出现否定理解和简单推理，而 GPT-2 在否定上一直很挣扎。Linus 补了一个关键机制：

「模型很懒。只有当它把其他所有能降低损失的选项都试完，才会去学你真正想教的东西。」

互联网上的数学证明本身一堆是错的，模型还得额外学会分辨证明对错。出路要么是少量高质量合成数据，要么是数万亿 token 的过滤后噪声数据，中间地带很难打通。他还给了一个纯观察层面的猜测：Sora 生成的视频里，动作和光影很像游戏引擎，OpenAI 可能用游戏引擎生成的物理数据做了早期训练。

产品一线：Notion 向模型厂商要什么

回到需求清单，以及排序理由。

• 少幻觉：Notion Q&A 要基于整个知识库回答问题，答案必须忠于检索进上下文的资料。
• 听懂复杂指令：Q&A 背后是几十条 bullet 组成的指令书，长达两三千甚至五千 token，规定什么情况该怎么答。旧一代模型跟不下来，长指令遵循的进步直接解锁了这类产品。
• 便宜且快：AI autofill 让用户像填 Excel 公式一样用提示词填表格列，客户的表有上万行，几分钟内几千个请求要稳定完成，卡点就是延迟和成本。
• 通用推理：最难，所以排最后。「更好推理」对模型厂商是不可执行的反馈，没法度量；指令遵循和少幻觉是推理能力里几个月内啃得动的切面。

Nathan 追问：模型要是聪明到能替你写出你想要的句子，Notion AI 收几百美元月费都不过分，为什么不把它排第一？Linus 给了两层回答。一层是包装：聊天这种单线程、逐 token 的交互方式，放大了人对推理的感知需求；批量场景里，2000 行 CSV 填 5 列，卡的是速度和成本，每天几十亿 token 的量级下，成本直接决定一个品类能不能存在，有些产品小公司上得去，Notion 反而上不起。另一层就是那个 95%：大多数商业文档的解题过程都在训练集覆盖范围内，要做的更多是用指令把模型导航到正确区域，训练集之外的推理是少数情况。

聊到 Gemini 1.5 的百万 token 上下文，他先反问了一句：什么用例撑得起这个设计？他猜是多模态，长音频长视频填窗口。纯文本场景他更愿意保留检索管线，理由有三个：可调试，答案错了能查它在没在喂进去的文档里、在开头还是结尾、换掉一篇答案变不变；成本和延迟；组件可以分别升级。大海捞针测试在他看来太简单，真实检索是脏的：文档过期、作者不权威、语言不同还和 HR 的权威文档冲突，模型得推理该信哪条；还有综合型问题，比如「AI 团队这周高效吗」，要拆出高效指什么、团队有谁、谁在休假。这类问题排查时，看 10 个样本比看 1 万个容易得多。至少对 Q&A 这个用例，上下文长度排在最急需求之外。

给开发者的建议，他自己承认听起来无聊，但值得反复做：

• 花时间和数据待在一起。读日志，把 100 条输入和输出摆成表格，问自己人类会怎么答、中间走了哪些步骤，盯着失败案例看。Notion 的做法是每周固定时间，工程师进会议室，盯着一个装满用户报告坏例子的数据库，逐条问：管线哪一步错的，是新 bug 还是老 bug，要不要发明新东西来修。像对待软件 bug 一样对待模型输出。
• 早点投资内部工具。快速跑评测、造合成数据、可视化输出的工具，简单到一个工程师几天能搓出来，好处是能一直按需改。自动化放最后：没搞清楚要监控什么之前，自动化无从谈起。

放大还是替代：一个绕不开的选择

对话后半段聊到两个趋势。一是不同模型的潜空间可以用很小的适配器接起来：CLIP 把图像和文本拉进同一个空间；BLIP-2 冻结一个语言模型、冻结一个图像模型，中间只训练一个几块 GPU 日就能训完的连接器。《Relative Representations》论文则发现，不同初始化、不同数据顺序训出的模型会收敛到同构的表示，彼此只差一个旋转或缩放。二是模型权重可以直接合并还好用。Linus 的直觉是，微调模型大多活在基座模型空间的一个线性子空间里，合并近似线性插值，怪，但算不上黑魔法。他自己做过实验：在自己模型的嵌入空间和 OpenAI 嵌入之间训练一个线性适配器，就能直接读出 OpenAI 嵌入的语义。

Nathan 抛出一个担忧：模型之间会不会开始用高维向量互相通信，人类再也读不懂它们在说什么。Linus 把尺度拉大来看：GPT-3 大致可以看成 100 个 GPT-2 在激活空间里交谈，理解 transformer 内部通信的技术，会外推到混合专家模型和这些桥接系统；而且模态之间的成熟嵌入空间，概念大概率比残差流里那些「对预测下一个 token 有用、对人类生活没用」的概念更好读。他把它看成一种省参数、省算力的定制方式，兴奋大于担心。

整期节目最后落在一个价值观问题上。同一种技术，可以包装成夺走能动性，也可以包装成放大能动性。洗碗机夺走能动性，没关系，没人在乎创造性地洗碗；写作工具、输入法联想、社交算法，处在中间地带。他担心的是，整个行业没认真想过语言模型的包装属于哪一边。

他点了两个名字。OpenAI 站在替代一边，AGI 的定义就是能接管一个完整人类岗位的东西；Runway 的产品叙事是延伸你想表达的东西。这个光谱上的多样性是健康的，问题在于最后的赢家落在哪边。

对趋势他只给了一句判断，引用自某个聊 Sora 的视频：这是这项技术最差的一天。智能手机每一代发布时，都是未来最差的智能手机。当前模型缺的长期连贯性和目标导向也指向同一处：模型默认对话在下一轮就结束，没学会为无限的未来轮次做规划，这是 agent 难用的原因之一。再往后，文化层面的震荡更难预测，他提到凯特·康普顿（Kate Compton）的 TEDx 演讲：生成模型让「一件作品」的概念，从一张像素图变成某个风格下所有可能输出的一个子空间，版权、创作、所有权都会被重新谈判。

最后是可以明天就上手的三件事：

• 把你产品的失败输出拉 50 条出来，人工分类，找到管线里最脆的那一步。没有产品就找公开的模型评测跑一遍，把错例打印出来逐条读。
• 写提示词时，把长指令当规格书对待：逐条列出什么情况怎么答，然后测模型到底跟到了第几条。
• 下载一个开源小模型，GPT-2 或 Pythia 都行，跑起来，在代码里到处 print，做一次你自己的模型验尸。理解从手上的活物开始。