几个月没写一行代码的首席科学家，讲透了AI怎么读懂百万行代码库

Guy Gur-Ari是AI编程公司Augment的联合创始人兼首席科学家。他在Cognitive Revolution播客里说了件听起来有点夸张的事：他已经好几个月没亲手写过一行代码了，日常开发全部交给自家的编程智能体，他只负责下指令、看结果。

这家公司2022年成立，累计融资约2.5亿美元，团队约百人，客户是那种代码库以百万行计的大企业。市面上大量产品在讲「一句话生成一个App」，Augment做的是另一头的事：让职业工程师在庞大、混乱、年久失修的遗留代码库里把效率提上去。这个问题更难，但离钱更近。

这期节目信息密度很高，从自研向量数据库讲到强化学习，再到给AI创业者的方法论。下面挑最硬的部分拆开讲。

百万行代码，塞不进任何上下文窗口

主持人Nathan Labenz自己写小项目时有个习惯：用脚本把整个代码库打印成一个文件，直接塞进上下文窗口，让模型通读后帮忙。Gemini 2.5能吃到100万token，个人项目基本够用。

放到企业里，这条路立刻走死。Guy给了一笔账：代码大约10个token折合1行，100万token也就装下10万行代码，而10万行在工业界只能算小项目。Augment的客户通常有几百名开发者，多的上千人，代码量从百万行起步，仓库结构五花八门，有人用单体仓库，有人一个微服务一个仓库。

更麻烦的在于隐性知识。Guy举的例子很具体：要调几个API，参数得填对，调用方式得符合代码库的既有惯例。可能有好几种写法都能实现同一个功能，但这个团队只认其中一种。老员工闭着眼都知道该怎么写，模型不知道。不给足上下文，模型给出的就是糟糕的补全和糟糕的回答，跟聪不聪明没关系。

代码库还有个时间维度的问题。检索出来的示例，可能是最新的写法，也可能是几年前遗留的废弃代码，开发者根本不想再那么调了。模型拿到的是一份快照，得自己分辨哪些作数。

到了智能体阶段，上下文的分量只增不减。开发者盯着看的时候，错了能马上纠正；智能体自己跑的时候，监督变少了，喂给它的每一段材料都在替人做判断。Nathan在节目里引用了经济学家泰勒·考恩的说法：上下文就是稀缺之物。放在LLM智能体身上，这句话比放在人身上重十倍。

每敲一次键盘，后台就搜一次代码库

Augment的解法是RAG，但属于重武器版。团队前后试过三种代码库理解方案，每种都是好几个月的研究项目，最后落在第三种上，也就是检索增强生成。

具体流程：上传代码，用自研训练的检索模型建索引，也就是用户打开Augment时看到的「正在索引你的代码库」。之后每一次按键、每一次提问，都会触发一次对代码库的实时检索，找出最相关的代码片段，拼进上下文，再让语言模型生成结果。

这里有个速度硬约束：一次补全请求，从检索到生成，整个链路要压在300毫秒左右。后台慢慢索引谁都做得到，边打字边搜还能这么快，是另一回事。Guy反复强调，速度本身就是产品特性。

向量数据库他们也是自己造的。原因很实际：市面上的产品满足不了一个组合需求。第一，索引要近乎实时更新，刚让AI写了个函数，转头让它补测试，它得知道这个函数刚刚存在。第二，每个开发者看的是自己的分支，不同人的索引视图不能混，这还牵涉安全合规。常规向量数据库为了查询效率会做聚类，更新聚类代价高，按视图查询时统计式检索还可能把目标文件整个漏掉。找不到现成的，就自己写了一个，客户代码库越来越大，他们到现在还在持续迭代。

关于RAG圈子里吵得很凶的分块（chunking）问题，Guy的表态很克制：分块确实有好坏之分，代码也有结构可抓，但只要检索器够强、模型够强，分块就挡不住路，改进分块解决的是长尾问题。整套系统里也不只RAG，还混着静态分析和多个模型，并且允许用户手动指向某个目录或文件来引导检索。

产品形态上，Augment选择做VS Code扩展，同时支持JetBrains和Vim，没有像Cursor那样做VS Code的分叉。Guy的理由有三条。第一，别强迫开发者换工具，让JetBrains用户迁去VS Code分叉，改动太大。第二，分叉意味着要持续跟进上游更新，尤其是安全补丁，这是额外的维护负担。第三，面向企业销售时，安全审查是绕不过去的环节，跟着VS Code走能省很多事。代价是某些UI定制做不了或者很难做，但Guy判断，越往智能体方向走，需要在编辑器内部动刀的地方越少，这个分歧会越来越不重要。

用户行为上，他观察到两个阵营：一批人离不开补全，恨不得贴着代码走，几乎不用聊天框；另一批人只用聊天框，几乎不自己敲函数。Augment的NextEdit功能（补全可以删代码、改代码，不限于在光标处插入）就是给前一批人准备的。智能体模式则再退一步：模型可以同时改多个文件、自己跑测试，开发者退到监督位。不过Guy说，在大代码库里干活，钻回去亲手改代码的频率其实不低，这跟从零起项目完全两样。完全放手让智能体自主跑，还需要模型再进化，方向是确定的，节奏没那么快。

10到20条标注数据，就能起步

Nathan在节目开头特别提醒听众，这期最有价值的部分，是Guy给AI开发者的方法论。Augment造了那么多自研轮子，他给新项目的建议却朴素得出奇。

大多数研究项目，都是从手工标注10到20条样本开始的。

第一步，手工标注10到20条高质量样本，建一个自己完全理解的评测集。不用大，但每一条都得吃透。第二步，拿现成的方案当基线跑一遍，看看能做对多少，是20%还是80%。第三步，在这个评测集上爬山，每次改动都跑一遍。等评测集被做穿了，就扩它：加样本、加难度、加多样性。Guy说，这件事难就难在枯燥，活本身倒不算重，但好结果就是从这儿来的。

Nathan补了一句他的观察：很多团队卡就卡在这一步。他自己公司做小企业视频，脚本好坏就没有唯一答案，可哪怕全凭手感的任务，10个「什么叫做得好」的例子也能把团队拉齐到同一页上。Guy补充，样本少有个额外好处：都能背下来了，评测甚至可以纯手动，新旧两版模型跑完自己对着看，靠手感也能爬山，数字可以以后再算。

具体到检索，他给了几条经验：

• 真实世界的检索系统几乎从来不是单一技术，纯向量搜索基本做不成事，向量、结构化查询、各种信号混着上。
• 现代模型下，召回率比精确率重要。模型大约在一两年前就通过训练学会了处理一堆干扰信息，注意力机制天生就是干这个的。与其怕模型分心，不如怕漏掉关键片段，把该塞的都塞进去。
• 代价是延迟和成本，权衡好就行。Guy完全同意Nathan那条「把超参数调大」的经验法则，开发者普遍把检索块数、扩展范围设得太保守。把召回目标从「必须进前10」放宽到「进前50、前100」，检索难度是断崖式下降的。
• 有一个例外：指令不遵守这个规律。给模型塞几百条指令，它会开始忽略、跳步。上下文可以多，指令要克制。

还有一条关于迭代速度：把单轮实验时间从几小时压到几分钟，收益大得超乎直觉。能跑100个实验的人，比只能跑10个实验的人，更容易撞上正确答案，逻辑跟「前100个候选块里命中目标比前10个容易」一模一样。先试最简单的方案，把市面上的东西用穷，评测数据确认到顶了，再考虑微调自己的模型。

Nathan在节目里提过一个设想：对企业私有数据做继续预训练，让模型像了解公开互联网一样了解这家公司，检索时就知道「我找对东西了」。Guy泼了冷水，理由有三条。训练是样本低效的，一家公司的知识库放进上下文太大，拿来训练又太小，得多轮重复训练，很快就会过拟合成熟读硬背；数据持续更新是噩梦，RAG可以把延迟压到接近实时，训练做不到；要是按用户逐个训练模型，后勤上根本不成立。他的建议是先用智能体解决：让agent多试几种检索路数，直到它自己判断找对了，这条路走到头再谈微调。

方法论的核心，Guy总结成一句话：把所有哲学问题变成实验问题。评测集迟早会和真实用户体验脱节，每个项目都发生过，所以产品要自己天天用，用户反馈要盯紧，几路信号合起来看。能变成实验的问题，就能快速迭代。

用户数据是最后的富矿

Guy对训练数据的大盘有个判断：互联网上的公开数据基本被吃干净了。接下来无非三条路：合成数据、花钱雇标注员（RLHF那套）、用户真实数据。他把第三条称为圣杯，因为用户数据没有分布鸿沟，训练时见到的就是上线后会遇到的。

为什么用用户数据的产品这么少？Guy的解释是，多数产品拿不到真值。聊天界面里用户问一句，模型答一句，没人知道正确答案长什么样。IDE不一样，开发者最终总会把代码改成他真正想要的样子，系统全程看着，真值自己浮现出来。

Augment把这两件事接在了一起。企业客户的数据他们不看，有审计和访问控制兜底；免费社区版的用户则明确同意数据被用于改进模型。有了这些数据，他们做了一件名字很直白的事：从开发者行为做强化学习（reinforcement learning from developer behaviors）。

思路是对比式的：每条样本包含输入，以及一个更好的输出和一个更差的输出，模型从差距里学。这个范式的妙处在于，答案没有绝对的对错，只有好坏之分。算法正确但风格不符合这个代码库的惯例，就是更差的那一个。他们先把它用在补全功能上，现在补全和NextEdit的生成模型都是自己训练的。

Nathan问有没有遇到过奖励黑客（reward hacking），Guy的回答是零，一例都没有。最常见的错误朴实得很：模型没搞懂用户想要什么。

至于DeepSeek的GRPO算法，他的评价是渐进式改进，算不上震撼，但他称赞DeepSeek的思维链推理训练做得非常出色，只是希望论文多透露些细节。真正让他们占便宜的是另一个早期押注：不从零预训练，赌开源模型会快速变好。这个决定做在Llama出现之前、开源模型还很烂的年代。Guy此前在Google参与过大模型训练，他清楚这件事有成熟打法，论文都摆在那里。现在Augment的检索模型和生成模型都基于能拿到的最强开源模型做后训练，开源每前进一步，他们都跟着受益。

往远看，Guy认为代码会是最先摆脱人类监督的领域，因为代码可以执行，执行结果就是天然的奖励信号，DeepSeek的训练已经在这么干了。写小说、写诗、写散文没有这种真值，除非有一个更强的模型当裁判，否则想不出怎么超越人类。其他领域得找到各自的「执行反馈」，比如科学领域的实验验证。

算不清的账，和看不清的三年

Augment现在的定价很传统：每月30美元和60美元两档。但Guy坦白，有些重度用户的服务成本已经远超订阅费。AI生意和传统SaaS的账本长得不一样：传统SaaS最大的成本是工资，AI公司训练烧钱，推理更烧钱，每一次按键都是一次检索加一次模型调用。

智能体让成本曲线更陡了。用户下一条指令，背后是十几次语言模型调用，包括改文件、跑命令、解析输出这些大调用，这还只是IDE里一个智能体的成本。价值也是明摆着的：

我已经好几个月没写过一行代码了。智能体写了大量代码，我个人一行都不用写。这些东西的价值一目了然，而现在还处在非常早期的阶段。

他预计智能体用量会在接下来一年爆发，成本跟着爆发，而模型降价的速度追不上用量增长的速度，毕竟大家永远想用最新的模型。

定价模式因此成了悬案。固定订阅还是按量计费？Augment已经迈了一步：卖积分，开发者当月用了才消耗，不用不扣钱，跟常见的按席位收费（用不用都付钱）划清界限，为的是让公司利益和用户利益对齐。Guy倾向于继续往按量方向加码，但没有定论。

Nathan抛出他的经验法则：企业该做好为每个员工每月花1000美元买AI的准备。Guy的回应是，用户用量分布极宽，今天确实有用户值这个价，也有用户根本用不到。更麻烦的在后面：智能体接下来会跑几小时、跑通宵、跑好几天，还会出现不由用户触发的任务，比如自动代码审查。到了那个世界，按开发者收钱的框架本身就装不下了。GPU他们是租的，不碰数据中心运营。这笔账，全行业都在算，暂时没人算清。

账算不清，未来也看不清。Dario Amodei放话说几个月内AI写的代码会超过人类，Guy的解读比较细：如果问题是「眼前这行新代码是谁写的」，答案大概率是模型或智能体，这个他信，时间上比3年短，但Dario说的3到6个月对采纳速度而言太乐观了。

关键在后半句：代码由模型写，不等于模型自主决定写什么。把人拿走，什么都做不成。模型还远没到「给你产品需求文档，自己去盖楼」的程度，开发者会长期留在方向盘后面。他还补了一句一线观察：完全凭手感给企业软件生成代码，是会出事的，他自己写的代码里已经能看到苗头。理解系统的工程师仍然被需要，需要多少，没人说得准。

给年轻人的建议他也没绕弯子。他大儿子14岁，正面临选方向，他的建议是往和物理世界绑得紧的领域走，机械工程、机器人这类，被颠覆得慢一些。至于软件行业，他坦承看不清3到6年后的样子。不过Augment照招初级工程师，条件是足够优秀。他观察到年轻人上手新技术最快，而用好智能体本身有学习曲线，在企业代码库里指挥agent干活更是门手艺。

明天就能用的几件事

把这期节目压缩成一份行动清单：

• 今天就把评测集建起来：挑10到20个真实案例，手工标好自己认可的答案。之后每一次改动都在它上面跑，做穿了就加难加量。
• 检查手头RAG系统的参数：检索块数、上下文扩展范围，大概率设低了。往上调，接受多一点延迟和成本，现代模型扛得住干扰信息。唯一要克制的是指令数量，塞太多模型会跳步。
• 先穷尽简单方案和现成产品，用评测数据说话，确认到顶了再考虑自研和微调。同时把单轮实验时间往分钟级压，能跑100个实验就别只跑10个。
• 写代码的人，把精力从敲字符挪到两件事上：给智能体喂足上下文，以及练出审查AI代码的眼力。这两样短期内都替代不掉。

Guy在节目结尾的邀请很直接：去下载Augment试一试，感受一个真正理解自家代码库的助手是什么手感。就算不用他家产品，这套「小评测集、快迭代、先简单后复杂」的打法，拿来对付任何AI应用问题都成立。