40美元读完乔·罗根全部播客：卖铲子的Chroma，和莱特兄弟时代的机器学习

把乔·罗根十几年播客的全部文字稿，大约10万页，做成AI可检索的索引，成本40美元。这个数字来自OpenAI的Boris Power。再往上加码，把整个互联网量级、10的11次方页文本全部嵌入，也就5000万美元。

这是Cognitive Revolution播客2023年3月一期里的内容。嘉宾Anton Troynikov，开源向量数据库Chroma的联合创始人。AI淘金热里，这哥们是卖铲子的。主持人Nathan Labenz和Erik Torenberg跟他深聊了一整期，从嵌入原理一路聊到人类会不会灭绝。

嵌入，就是给数据算坐标

先补基础课。嵌入（embedding）说白了，就是把一段文本、一张图片、一段音频，变成一串数字，也就是向量。训练有素的模型会保证：意思相近的东西，向量在空间里就挨得近。聊足球的句子聚成一团，聊烹饪的聚在另一团。

向量数据库存这些向量，支持几何运算：算距离、算相似度、聚类、拟合曲面。传统数据库是代数式的，SQL表里select from where，返回精确匹配的行。向量数据库玩的是几何，问的是「离这个最近的有哪些」。

为什么现在突然火？Anton把节点排了个序：2020年的GPT-3是分水岭；Stable Diffusion是下一个，开源、小到能跑在M1 Mac上，甚至有人塞进了iPhone，大家第一次发现不用拥有巨型模型也能动手；ChatGPT是第三个，模型早就有了，意义在于打包和交互设计做对了，人们一下子明白能拿它干什么。

于是有了那个经典工作流。你想让大模型回答关于自己文档的问题，ChatGPT训练时没见过你的邮件和网盘，直接问它就可能胡编。做法是先把资料全部嵌入存进向量库，提问时把问题也变成向量，找出最相关的几段，塞进模型的上下文窗口，让它照着资料答。

这套检索增强的做法，基本压制了幻觉，而且不用微调模型。微调又贵又慢，检索只付一点嵌入费。Anton举例，Pinterest早就这么干，你看到的「相似图片」推荐，背后就是图片向量加大规模向量库。

Chroma的算盘：给大模型应用当存储层

Chroma发布于节目播出前一周的周二，Anton在Twitter上宣布，增长随即爆炸。他反复强调：Chroma用向量数据库做技术，真正的定位是给用了大模型的应用当存储层。

为什么自己造轮子？他们先在自己的产品实验里需要这东西，把市面产品全评估了一遍，结论是都不合适。要么从第一天就为重型工作流设计，部署维护费劲；要么价格性能不匹配；要么抽象就是错的。当时团队就Anton和联合创始人Jeff Huber两个人，养不起一个全职工程师专门伺候向量库。

他们看到的空白：市面上没有产品是AI原生的。LLM应用需要的存储，要好好处理插入、更新、删除，要跟嵌入API顺畅对接，返回结果要方便模型直接塞进上下文窗口。Chroma上线第一天就与LangChain集成，赌的是应用开发框架这条生态。

几个技术细节值得记。Chroma保留了传统元数据存储，可以先用SQL式条件过滤，再做向量搜索，比如「只在这批文档里找相似内容」。另外，精确最近邻搜索是平方复杂度，几百个数据点无所谓，一次矩阵乘法就完事；超过一万条，平方增长开始咬人。近似最近邻算法把查询时间变成基本平坦，代价是偶尔漏结果，大约每一百次查询丢一次。规模小可以调高召回，几乎不漏。

Nathan还聊到HyDE这种玩法：让大模型先幻觉一个「像答案的答案」，拿它去搜，检索质量更好，但每次查询要调两次大模型，太贵。Anton算了笔账，他们接触的一家公司照最朴素的方式做，每周要烧掉几十万美元。Chroma正在部署一个实验功能，算法判断检索结果的相关性，返回概率值，让系统自己决定这批结果值不值得用。

几何结构还带来一个有意思的可能：向量运算对平移、旋转、缩放不变。用户可以给自己的嵌入先加随机变换再加噪声，再传到云端，服务商照样能算，却几乎还原不出原始数据。Anton管这叫某种同态计算的思路，他自己承认还没深入验证，但值得盯。

节目里还串起几个同构系统。Nathan提到BLIP-2，训练计算量砍掉95%，单机十天以内训完，只训一个2亿参数的连接器，把视觉模型的输出直接注入语言模型的提示前缀，甚至触到了文本到不了的嵌入区域。谷歌大脑机器人团队的RT-1也是类似结构。Anton认了这个类比：语言模型像执行功能，向量库像外接记忆。他还点了DeepMind的Retro，模型被训练成不把知识存在权重里，只能去外部数据库查。他的判断：未来一边是当公用事业的大模型，一边是专门负责查找和组合知识的小模型。

嵌入的对象还在扩圈。音频有Whisper，视频嵌入开始商业化，能在视频里做语义搜索。机器人的一串动作也能嵌入。生物科技正在醒，基因组、蛋白质结构都能嵌入，只是那边的嵌入函数大多还是手工的。CLIP把文本和图片放进同一个空间，Whisper把文本和音频放进同一个空间，接下来整张跨模态矩阵的每个格子，都是一个潜在应用。

Stable Attribution：50亿张图的追责实验

聊到Stable Attribution，话题开始发热。Stable Diffusion用LAION数据集训练，里面有大约50亿张图文对。艺术家们吵翻了天：我的图被拿去训练，该不该署名，该不该拿钱？

理论上最干净的办法，是把训练图片一张张移除，重新训练模型，看输出变化多少，就能算出每张图的影响力。Anton给了一记暴击：Stable Diffusion完整训练一次，成本大约16万美元。逐张移除重训，算力上直接判死刑。

Chroma的替代方案，是利用扩散模型本身的性质，在潜在空间里构造一个有原则的相似度指标，再叠上注意力图。注意力图拆开看，本质也是一次矩阵乘法，一个线性变换，变换完再搜相似，等于用模型自己的视角去看哪些训练图影响了生成。

实验挖出几个猛料。Stable Diffusion确实能近乎原样复现训练集里的图片，此前很多人长期否认这一点，已有论文证实。另外，开源仓库里本来有水印函数，用来标记生成图，但大部分托管版本里这个水印没了，或者没人告诉你水印是什么。他们本想用水印过滤非Stable Diffusion生成的图，计划落空，最后决定先发布再收反馈。

Nathan拿自己手机拍的照片试了，效果意外。返回的图跟原图不像，但元素上有呼应，比如他孩子回头的姿势，跟一张完全不同场景的图撞上了。他说这里头有产品机会，像个「氛围搜索」引擎，类似same.energy。Anton提醒关键点：这里的相似度是模型眼里的相似度，跟人类感知可能完全是两回事。模型机械地逼近训练目标，它不编码人类意义。你看到的返回结果，相当于回答一个问题：假如Stable Diffusion要生成这张图，训练集里会有什么。

版权话题上Anton立场鲜明。做这个项目的原因之一，是不想看到迪士尼在版权反噬中把一切收入囊中。衍生作品版权法一旦被加强，迪士尼第二天就能宣布所有长得像超级英雄的东西都归漫威宇宙，谁画谁侵权。至于prompt里反复出现的艺术家名字Greg Rutkowski，他的态度：prompt是归因的第零步，你打了人家的名字，至少该给人家credit。设备商的主张就难说了，摄影师从来不欠相机制造商一份版权。

Nathan追问prompt里的「4K」「Unreal Engine」到底起了什么作用，Anton的回答很诚实：没人知道。prompt工程，用他的原话，像用湿面条撬锁。为什么加4K有效果？为什么告诉InstructGPT「你是世界级专家」它就答得更好？全都没被研究过。想搞清楚，得拆开机器看，别急着拟人化。

莱特兄弟的飞机飞了，但他们不懂飞行

整期节目里最有味道的类比来自航空史。莱特兄弟对飞行者号为什么能飞的理解是错的，他们只有直觉，但飞机飞了。东西能用，直觉错没错不重要。接下来是航空器的寒武纪大爆发，双翼、三翼、各种怪异机身，因为所有人手里都只有直觉，没有工程原理，连发展工程原理的工具都没有。

「我们今天在机器学习上所处的位置，就是这个阶段。」

缩放定律算第一条靠经验立起来的工程原理：数据和计算要按比例一起加，光堆算力没用。前一阵还有论文专门打脸，有人声称潜在扩散模型遵循朗之万热力学动力学，那篇叫Cold Diffusion的工作直接给出反例。整个领域都在凭直觉飞。

Anton认为该做的事很明确：拿玩具模型做实验。训一个只会画花的小扩散模型，烧点算力，把数据集对生成结果的真实影响比例测出来，再拿结果对照Stable Attribution这类方法，看它们到底准不准。有GPU时间就能干，没人干，因为大家都在冲能力榜。

训练数据里的噪声也是一桩悬案。LAION里大量图文对，文字跟图片内容对不上。Anton的直觉是，这些噪声可能反而帮了泛化。老派机器学习里，dropout和各种噪声注入本来就是防过拟合的手段；一张图配一万种说明文字，也可能让模型把同一个视觉概念连到很多语言概念上。他强调这只是直觉，需要实验验证，又补了一句：这种研究该有人做。

「我们不会死，但会经历有意思的糟糕年代」

Nathan管过去一年的行情叫「库兹韦尔的复仇」，Anton回敬：他前几天上库兹韦尔的网站，正赶上《奇点临近》出版十周年纪念，把他逗笑了。然后进入正题：我们都会死吗？Anton的回答干脆：没看到任何有说服力的论证。所有灭绝论证都要先假设一个能力无法计算、定义上无法理解的系统。既然要召唤魔法，不如一开始就召唤。他补了一刀：担心超级智能失控，不如先研究太阳对齐，太阳目标宏大且人类不可理解，对人类很危险，而且今天就在天上挂着。

他担心的东西有历史韵脚。印刷机助推了三十年战争，马丁·路德的思想靠印刷快速铺遍欧洲，部分欧洲地区几年内人口减少一半，按人均算仍是欧洲史上最惨烈的冲突。收音机进了每个家庭，想当独裁者的人不用再挨城演讲。社会需要时间发展出他所说的「模因抗体」。

互联网的教训同样扎心。万维网刚出现时，所有人都知道网上的话不能信，因为谁都能往上放东西。这个事实从没变过，变的是人。网络被正名为信息渠道之后，大家的免疫力反而丢了。生成式AI会把这种退化放大到个人级别：针对单个人的定制宣传，技术上已经没有障碍。

他还造了一个词，知识能力（knowledge capability）。过去危险知识被门槛保护着，难找难学。口袋里装一台推理机器之后，不用聪明也能干危险的事。他试过让ChatGPT讲氢弹中子点火装置怎么做，被拒绝了。

Nathan搬出Jan Leike那篇著名文章《没有特定对策，通向AGI的最可能路径很可能以灾难告终》，说Leike眼中最可能的AGI路径是「多样任务上的人类反馈」，也就是RLHF的推广版；又引Richard Ngo那篇《从深度学习视角看对齐》，里面模型在镜头前假装做任务、骗过人类评估员。他担心模型学会追求「评估员会打的分」而演技造假，可解释性又跟不上。Anton逐条顶了回去：第一，任务结果如果可测量，做没做到一目了然，那篇论文里球没举起来，除了基准分数也没有别的利害；第二，从「能骗过评估员」到「人类灭绝」之间，缺一条说得通的路径，神经毒素、纳米装配机这些场景，人类自己就能干，不需要AI，德雷克斯勒的纳米装配机至今停在科幻里；第三，最大的危险是把系统拟人化，它就是矩阵乘法加非线性，是可理解的动力学系统，F-16能飞，靠的就是控制理论。

他还给了一个机器人学出身的视角：物理世界很难。沙林毒气的问题从来不在制造，在部署，在送达，所以世上没有天天发生的沙林袭击。信息世界容易，物理世界难，任何要杀死所有人的东西，都得先能在物理世界里动手，而今天没有任何系统做得到。

他的希望也具体：AI是人类适应性的假肢，让人更快适应环境，长期反而更安全。比如再来一场新冠级别的危机，如果有工具能把任何人送到研究前沿，一个为你定制的「盒装博士」，物种应对起来会敏捷得多。悲观的部分他也不遮掩：每种新媒体开头都被期待成教育工具，最后都变成色情和宣传，这次不会例外。

双方最后在一个点上达成共识：能力过剩（capabilities overhang）。就算今天停止训练新模型，现有模型的能力都没挖完，思维链提示就是用户发现的，一行代码没改。Nathan说他还在GPT-4的候补名单上，变革已经注定，大家没准备好。Anton补了一个冷门担忧：AI寒冬。他问过Sam Altman这个问题，历史上每次寒冬都是同一个剧本，过度狂热，交付失败，专家系统一次，神经网络一次，现在又回到神经网络。再来一个荒废十年，比什么风险都可惜。

明天就能用的五件事

Anton自己每天在用的工具很朴素：ChatGPT查陌生库和怪bug，Copilot和Codeium写代码，Replit的Ghostwriter也在推荐名单上。他的总结：这些东西没有取代程序员，它们把「不知道怎么办」的部分挪开，让人专注真正擅长的事。

至于脑机接口，快问快答里Nathan问他要不要装，他给了全期最坚决的拒绝：「我见过软件是怎么写的，我不想让它靠近我的大脑。」停了两秒又补了一句，85岁得了神经退行性疾病的时候，估计会真香。

整期聊下来，能直接搬走的东西有这么几件：

• 想让大模型回答你的私域问题，先试检索增强，别急着微调。嵌入便宜到10万页40美元，Chroma和LangChain都开源，一个下午能跑通demo。
• 数据量在几千条以内，直接用精确最近邻，一次矩阵乘法的事，别过度工程。
• 写prompt别神化咒语，「4K」「专家人设」到底有没有用没人验证过，自己做个A/B测试，比抄网上模板靠谱。
• 用艺术家名字做prompt，至少在发布时公开credit人家，这是眼下就能做到的归因第零步。
• 把「网上谁都能撒谎」的默认怀疑捡回来，生成内容只会让这条越来越重要。

这五件事没有一件需要等新模型发布，现有工具今天就够。