写了100多个副项目的 Notion AI 工程师，把 AI 界面设计讲透了

2023年年中，Notion 产品工程师 Linus Lee 测试还在开发中的 AI Autofill 功能，把一个6000页的数据库整个跑了一遍自动摘要。20分钟，烧掉两三百万 token，账单五六美元。他后来在播客里说，在自己电脑上跑个测试，花掉一杯好咖啡的钱，这种感觉到现在还没适应。Notion AI 的订阅价是每月10美元，照这个烧法，重度用户理论上真能把公司用到毛利为负。他补了一句，公司可不推荐这种用法。

这期节目来自 Latent Space 播客，主持人 Alessio Fanelli 和 swyx 把录音地点搬进了 Notion 纽约办公室。Cognitive Revolution 的 Nathan Labenz 转发这期时说，Linus 是他一直想约却没约到的嘉宾，还重申了自己的判断：模型能做到的事，和实际做出来的产品之间，缺口巨大，而且还在扩大。

Linus 从小在印第安纳州的小镇长大，去伯克利读计算机，毕业后搬到纽约。上学期间他就在 Replit、Hack Club、Dorm Room Fund 这些地方打转，做过 IdeaFlow 的产品工程师，在 Betaworks 驻站，如今负责 Notion AI 的产品与提示词。他公开发布过100多个副项目，个人搜索引擎 Monocle 让不少工程师第一次记住他的名字。

100个副项目的做法：一个周末，只学一件新东西

先说他2022年那次休整。他攒了一整年的生活费，辞职做独立研究，还给自己留了退路，真缺钱随时能找到活干。整年只带一个问题进去：文本界面怎么往前进化。文字无处不在，路牌、菜单、书籍、软件，但它并不符合人体工学。那一年后来被他自嘲为「Linus 转型 AI 之年」，时机好得离谱，不过出发点始终是这个疑问，AI 是路上捡到的工具。

期间他写了一篇《Notational Intelligence》，核心观察是：化学有化学式，数学有符号系统，逻辑有逻辑记号，很多技术领域的智力优势来自记法，人靠记法在更高的抽象层上工作。文本是最通用的记法，也正因通用而杠杆最低。他给文本的定位是，最低公分母，远非终点。

支撑这一整年的，是一条副项目流水线。他见过太多人这样学新技术：想碰 GPT-4 的 API，又想学向量数据库，还想试试 Next.js，于是设计一个要写好几周的项目，把三样东西粘在一起。想法很酷，结果白天有班，周末有生活，项目永远停在半路。

他的解法有两层。每个项目只允许出现一个新技术，这个项目学 embedding API 怎么用，下个项目再碰 PyTorch 的向量操作，其余全用最熟的家伙什。范围卡死在一个周末，周五晚上动手，周日晚上必须能发布。发布之后想加功能随时可以，但东西已经在线上，有人用，自己也用，继续做就有了理由。

工具栈也要锁死。他的主力语言是 Go，配几个自己从底写到顶的库，所有可能的坑都亲手踩过，几乎不用查文档，也不会被一个没见过的怪 bug 卡死一整晚。代价是他基本退出了开源圈的热闹：Monocle 带一个手搓的全文检索索引，他公开它，更多是想让人看看这东西怎么造的，至于别人能不能跑起来，他没那么在意。

知识工作的价值，藏在动笔之前

Linus 传播最广的一条推文是：大多数知识工作并非文字生成任务。swyx 在节目里笑称，这条发出来时大家都在猜是不是在敲打自家产品，毕竟当时的 Notion AI 恰恰以文字生成为主。

他把大模型应用分成三层。第一层是内容生成，给 ChatGPT 套个壳就能干，门槛最低，价值也最薄。第二层是知识处理，公司文档、领域资料、整个互联网，都可以让模型去检索、理解、综合，围绕这层的向量数据库当时正火，他判断这一层释放的价值远高于生成。第三层是自动化，让模型提议动作、写代码完成任务，ReAct 这类提示技术属于这一层，也是当时生态里讨论最热的方向。

大多数知识工作的核心环节，发生在弄懂一件事、提出下一步动作的时候，文字只是最后的包装。他的原话值得单独抄一遍：

人在工作中坐下来产出的价值，大部分藏在写下那些字之前的思考里。怎么让语言模型参与到那些环节？

同一个输入框，聊天框和搜索框是两个产品

Linus 认为，语言模型产品设计的核心矛盾，是灵活性和直觉性的取舍。好界面靠的是克制地加约束，把用户往模型擅长的区域引。语言模型有个特点：它从不拒绝你，无论输入什么都会回点什么，但它的能力在整个动作空间里分布得很不均匀，有的区域很强，有的区域很差。

他举了个例子。同样一个输入框，做成聊天窗口，用户就会当成微信用，发「你好」，发各种奇怪的闲聊，这是2014、2015年那波聊天机器人反复验证过的教训。把同一个输入框摆成搜索框，配上搜索按钮，用户的输入立刻变成关键词和短问题。界面形态重置了用户预期，预期收窄了输入空间，输入空间收窄了，模型表现和用户体验就都上去了。

Notion AI 早期吃过通用性的亏。他身边不少朋友试过之后流失，理由高度一致：写邮件、写营销文案确实好用，可放进自己的具体工作流，对着一个空白输入框，想不出它能帮上什么忙。

swyx 追问：现在是不是提示词的蜜月期，大家图新鲜什么都试，三年后理想状态是谁都不用再写提示词。Linus 的答案是保留一张底牌。Notion AI 的每个功能都留了完全自定义的提示入口，理由有三个：高手需要原始能力；社区大使和模板作者会拿它试出新用法，帮团队发现新场景；这些五花八门的真实用法回流成数据，保证模型扛得住用户想要的全部通用性。

录制前，三人和一群同好刚在旧金山办了第一场 AI UX 线下聚会，场子挤满，机器学习背景和界面设计背景的人各占一半。两个演示常被提起：Amelia 的「语气画笔」，选一种色调拖到段落上，整段重写；Linus 早前的原型，给句子配长度、哲学浓度、情绪正负三个滑块，拖到哪模型写到哪。离散画笔和连续滑杆，都在回答同一个问题：怎么把「随便说」变成「精确调」。

Notion AI 在赌什么：积木、默认值和三件套

Notion 的官方定义是「连接的工作空间」，文档、会议记录、wiki、项目流程都在一个地方，互相链接。Linus 更愿意讲底下的那层抽象：Notion 里一切皆积木（block）。段落是积木，页面也是积木，数据库就是一堆页面的集合。把一段文字拖进数据库，它变成一页；把数据库里的页拖出来，它变成一个链接。这种流动性，是他眼里 Notion 真正的护城河。

积木文化渗到细节里：新员工入职领一个乐高小人，每满一年多发一块印着年份的积木，联合创始人兼 CTO Simon Last 的办公桌上放着一整箱乐高。Linus 给自己留的开放问题是，AI 的那块积木长什么样。

Notion AI 的起点是2022年10月的一次公司外出活动。创始人 Ivan Zhao 和 Simon Last 用一个周末捣鼓出最早的原型，动机可以追溯到做 Notion 的初心：让不会写代码的人也能拥有量身定做的小软件，语言模型恰好是弥合「会写代码的人」和「需要软件的人」之间鸿沟的关键一环。ChatGPT 上线之前，原型已经能跑了。如今 AI 团队被称为「创业公司里的创业公司」，公司给它的定位也很清楚：未来的 Notion，AI 会成为和数据库、页面平起平坐的一层，渗进每个角落，而非一个外挂功能。

Linus 解释过为什么放着实验室和创业不选，跑去一家成熟公司。每次平台迁移后的窗口期，市场赢家定下的界面隐喻会统治后续很多年。按钮这个概念，是电气化普及后才变成「按下、接通、弹回」的二值开关的，图形界面照搬了这个隐喻，屏幕上的按钮模拟电路按钮，控制它的鼠标点击本身是个物理按钮，触控板又把物理按钮虚拟掉，一层套一层，全是概念上的向后兼容。QWERTY 键盘当初为了防止机械打字机卡键，刻意把常用字母的行程拉远，机械约束早没了，惯性还在，有 RSI（重复劳损）的 Linus 也没换成 Dvorak。

Alessio 补了个事实：初代 iPhone 的交互是一支十人左右的团队定的，包括根据输入内容动态放大字母热区这种细节，那套东西定义了今天所有智能手机的用法。AI 正处在这个节点，Notion 既快得动，又有足够的用户量把方案推出去接受真实检验，这是他选它的理由。

产品上，Notion AI 目前有三件套：

• Writer：最早上线的写作助手，摘要、列行动项、起草博客、修语法，底下一层相当厚的提示词。
• AI Block：文档里一块常驻的「AI 门户」。AI 团队的会议记录模板顶部都放一块，开完会按一下按钮，自动重写摘要和每人的行动项，约束空间固定，不用每次重新提示。
• AI Autofill：把 AI 带进数据库。像写 Excel 公式一样写一条 AI 公式，模型读完整个页面，把公司名、痛点、在用竞品这些字段填进整列，页面内容一变，数值自动更新。这是三件套里第一个「后台自己干活」的形态。

Alessio 问到反链的用途，Linus 给了一个他个人最喜欢的观察：代码在磁盘上是文本文件，工程师理解它时用的是一张图，函数、调用点、测试、类型定义互相连着，IDE 的核心创新就是把这张图浮到文本上面，比如跳转定义、查看引用。文本文档其实也有一张更模糊的图，术语在哪里定义、哪些段落引用了它、哪些地方反驳了它。Notion 所有页面共处一个工作空间，等于自带共享上下文，让 AI 沿着这张图走，才能真正把知识放进语境。

提示词工程的日常也在这一节。一个看似简单的「总结页面」，输入可能是空白文档、新闻报道、会议记录，也可能是一张 bug 工单，用文字把任务描述全很难。团队的两个实操结论：

• few-shot 是处理边界情况最省力、最可靠的工具。从指令跟随模型切到对话模型（Claude、GPT-3.5 Turbo）之后，示例可以直接作为对话的前几轮，真实问题作为下一轮，比以前更顺手。
• 多语言别靠嘱咐，靠例子。提示词用英文写，模型容易对法语文档输出英文摘要。写一句「用用户的语言回答」效果一般，直接在示例里放英文文档摘要、法文工单摘要、韩文空文档各来一条，问题基本消失。代价是他们的提示词有的长达几千 token。

评估这块，Notion 基本用手搓工具，他的原话是「本质就是一个循环，跑一遍测试用例列表」，配合手写用例和用户反馈驱动的回归测试。判定方式相当直白：用模型评模型，测试的断言就是拿输出再问一次模型，看看像不像一份合格的摘要、语言对不对。被问到会不会拿一家的模型去评另一家的输出，他说不担心偏袒问题，但预算固定的话，评估环节应该用比生成更贵的模型。

swyx 插播了一条旧闻：他最早的一篇 Hacker News 热帖就是逆向工程 Notion AI 的提示词。Linus 回应，那些提示词当时被猜得八九不离十，行动项那条猜错了，而且后来已经改了好几轮。

价格这件事，swyx 总结成一条新定律：老版的沃斯定律说软件会吃掉硬件给的所有富余，新版是语言模型每便宜一个数量级，做 AI 界面的人就敢多烧两个数量级的用量。Linus 说这种速度既惊喜又吓人，围绕成本和上下文长度做的设计假设，几个月就被推翻一次。GPT-3.5 Turbo 的单价大约只有上一代 davinci-003 的十分之一甚至二十分之一，Anthropic 又把上下文拉到10万 token，他干脆把长上下文当成暂时不用操心的限制。

Agent 的死结：信任、控制和让模型写程序

swyx 讲了个自己的翻车案例：让 agent 给播客嘉宾做背景调研，格式怎么调都不对，唯一的沟通手段就是反复喂文字示例。Linus 给出了一个框架：信任和控制是一体两面。同一个失败，既可以描述成「agent 没领会我的意图，所以不敢信它」，也可以描述成「我没法精确控制输出，也没法把脑子里的东西精确传给它」。只要能花更少的力气去控制、约束模型的行为，对模型「完全可信」的要求就松了，因为护栏已经替信任兜底。

他在做 AI Autofill 时悟出的第二个概念是影响力范围（zones of influence）。协作渗透在 Notion 的每个角落，跟 AI 协作可以直接复用跟人协作的隐喻。Autofill 和 AI Block 都有清晰的边界：格子里和块里的是 AI 写的，外面的默认是你写的。「这文档到底是人写的还是 AI 写的」这类审计问题，看一眼边界就有答案。

Agent 的动作空间一旦不设边界，审计就更关键。协作者有没有权限看这份文档、改没改过，你得能查；AI 有没有权限、动没动手，同样得能查。swyx 补充了 AutoGPT 类产品的通行做法：破坏性操作必须弹窗确认。麻烦在于确认太频繁，自动化就失去意义，一个人管100个 agent，一天到晚都在点通知。Linus 觉得可以借鉴人类协作的思路，比如把一批改动打包，用另一个模型批量摘要后一起审；破坏性操作也可以设计成可撤销加超时窗口。

swyx 举了 SavvyCal 的例子：没有 AI，但替你安排会议，已经是某种 agent。Sam Lessin 有个著名观点，让别人在自己日历上挑时间是失礼，swyx 不同意，但认为中间态存在：一个 agent 替你写邮件往来，把那份「被尊重的感觉」还给在意的人。

闪电问答里，他给「AI 最有趣的未解问题」的答案是可预测、可依赖。让 ChatGPT 或 Claude 列个清单，有时用圆点，有时用短横，有时加标题，有时随机加粗，每次都对，每次又都不太一样，单次对话无伤大雅，放进自动化决策就是大问题。世界上大量关键软件的背后，是替人做决定的程序，可审计和可依赖是它们的命根子。

他最看好的路线是让模型去写程序，把决定权交给程序。要从文档里抽出所有日期，别问模型「帮我抓日期」，让模型写一条覆盖你要的日期格式的正则表达式。输出变成程序之后，好处一串：跑起来便宜得多，可以验证，可以修 bug，可以人机一起迭代。设计学里管这种东西叫边界对象（boundary object），同时活在人的世界和机器的世界里，成为双方共享的决策载体。

他对 Guardrails、LMQL、微软的 Guidance 这类约束工具都看过，也和 Guardrails 的 Shreya Rajpal 聊过。他早年钻研过编译器和类型检查器，觉得程序综合加程序验证这套组合拳的潜力远没被挖完，真让整个领域退化成「有事问 GPT-4」就太可惜了。

从 Solvay 合影到一千年后的写作工具

Linus 提供了一段少有人提的历史：HCI 和 AI 在计算机科学史上长期是抢饭吃的对手，抢的是同一批经费、同一批人。两者的初心其实一致，都是让计算机更好地跟人协作，一条路把机器变聪明，另一条路把界面做好。AI 过冬的时候，HCI 拿经费；AI 火起来，HCI 就失宠。现在轮到给 AI 做界面成为热点，他判断这门手艺正处在从「圈子」长成「学科」的前夜。

他引用 Andy Matuschak 对「领域」的定义：一个成熟的领域，手里得有一套强大的工具、方法和标准，还得有一组公认的核心问题。机器学习显然达标，梯度下降、基准测试、现成的框架都在。提示词工程社区走在半路，ReAct 这类技术和指令蒸馏算得上初步的最佳实践，Riley Goodside 这批人是开路者。AI UX 还在最早期，人多、热情高，缺的就是那套方法和框架。

swyx 正在做的事跟这个判断直接相关：把播客和通讯重新定位到「AI 工程师」这个词上，办聚会、办会、推职位头衔，先把人和问题聚起来。Linus 特别吃这一套，他反复回到一个观察：理论物理的黄金年代、个人电脑的黄金年代，贡献了全部关键想法的可能就二十来个人，而且他们彼此都认识。因果箭头其实是反过来的，正因为这群人离得近、聊得勤，那个领域才开的花。1927年 Solvay 会议那张合影，爱因斯坦、玻尔、居里夫人同框，网友第一次看到常问：这些人居然都认识？

节目结尾他留了一段有点浪漫的话。写作的成熟形态存在了两三千年，如果一千年后人类还在用今天这样的写作工具和书写系统，他会非常失望。如果人类打算再存在很多个一千年，就该更在乎打造灵活强大的工具，少在乎向后兼容。今天的文本界面、今天的 Transformer，很多时候只是路径依赖的产物，他个人判断几年内就会出现比 Transformer 更好的东西，眼睛得常往地平线外看。

最后，把能直接抄走的整理成五条。

• 想练手 AI 项目：一个项目只学一个新技术，其余全用最熟的栈，范围卡死在一个周末，周日晚上必须发布。
• 写提示词：与其费尽心思用文字描述任务，不如挑四五个边界案例做成 few-shot 示例；多语言场景直接放不同语言的例子，比写「请用用户的语言回答」管用得多。
• 给提示词建回归测试：一个循环跑完所有测试用例，用另一个模型当裁判，判断输出像不像合格结果。预算有限时，把更贵的模型用在评估环节。
• 设计 AI 功能：同一个输入框，摆成搜索框的样子，用户的输入会自己收敛；再留一个自定义入口当高手的后门，顺便收割社区的新玩法。
• 想要稳定输出：让模型写正则、写脚本、写查询，把决策固化成可检查、可迭代的程序，别让模型每次现场发挥。