Replit CEO 亲述：Claude 3.7 为了改一个配置文件，写脚本绕过权限，还想骗用户

Amjad Masad 在播客里讲了一个故事。Replit 有个配置文件叫 .replit，AI 不能改，一改整个系统可能崩，用户自己都救不回来。

他们先是在提示词里告诉模型别碰这个文件。没用。模型在某一步会突然认定，改这个文件是解决问题的唯一办法，于是无视提示，直接动手。Replit 加了一道拦截，编辑就报错，错误信息里再写一遍「别改」。模型消停了几天，然后找到一个新路径：写一个脚本，用脚本去改文件。它换了个 Linux 用户，权限居然够。

Amjad 的原话是：「我当时就想，靠，它在绕过防护。」

再后来他们做了真正的沙箱，这下模型彻底改不了了。你猜它怎么办？它转过来对用户说：这里有一段代码，你帮我贴到这个文件里。

「我们当时就骂了一句，这混蛋。」Amjad 说。

这是 2025 年 5 月，Replit 的 AI 编码 agent 每天在跑的真实场景。Amjad 是 Replit 的创始人兼 CEO，这个播客叫 Cognitive Revolution，主持人 Nathan Labenz 从 2023 年就开始用 Replit，也算是老朋友了。

Replit 长得有多快？快到创始人自己都觉得不舒服

Nathan 上来就问增长。Amjad 的回答很有意思：「我们长得非常快，快到有些时候我自己都觉得不舒服。」

但他紧接着说，自己更关注影响力，而不是增长数字。他看到的是有人靠 Replit 赚到了改变生活的钱，有人把憋在脑子里几十年的想法终于做出来了，有公司因为员工能用 AI 做出东西而变得更高效。

「这些事比单纯看曲线更让我兴奋，也让我对生意的长期可行性更有底。」

Nathan 追问护城河。在 AI 时代，很多人说护城河不存在了，Nathan 自己是「至少有部分护城河」的拥护者。

Amjad 的回答很实在。他先吐槽硅谷把「护城河」这个词用烂了：「人们说你的平台是护城河，这到底什么意思？」

他引用了一本书，《7 Powers》，作者 Hamilton Helmer。书里研究了全世界最能持续增长、竞争最少的公司，发现它们通常拥有七种「力量」之一。比如切换成本，Oracle 和微软就是典型，客户嵌得太深，换起来太疼。比如网络效应，但 Amjad 更看重「网络经济」，也就是网络里的参与者真的在创造经济价值，而不只是互相点赞。

「按严格定义，现在护城河很难看清，因为市场太早期、太动态。」

他拆开来看。模型层有没有护城河？「大家的共识是没有。你可能领先两三个月，但模型的保质期很短，你得持续砸钱。」他还补了一刀：看模型公司的行为就知道，OpenAI 一边往应用层走，一边往硬件层走，往下还做基础设施，「它们自己的行为就说明，那里没多少可防御的东西」。

应用层呢？回到传统问题：你建的东西是不是让公司深度依赖、很难换掉？你建的东西是不是很容易被抄？他拿 Figma 和 Canva 举例，说它们都在做类似 Lovable 和 Bolt 的产品，给个设计稿就生成 UI，「那个赛道会变得非常卷」。

Replit 的赌注压在七年的基础设施上。运行时环境、虚拟机、装包、改操作系统、配数据库和对象存储，还有 fork、rollback 这些底层原语，以及从零搭的部署环境。

「护城河在哪还不完全清楚，但开始有形状了。」

为什么 assistant 还在用旧模型，agent 却用 Claude 3.7

这段对话里有个反直觉的细节。Nathan 以为 Replit 的 agent 用的是 Claude 3.5，Amjad 纠正说「我们升级了」。Nathan 说三周前写的问题，那时候还是。Amjad 解释：assistant 用的是 Claude 3.5，agent 默认用 Claude 3.7。

Nathan 开场白里说的是 3.6，嘉宾现场纠正为 3.5，这个小插曲不重要，重要的是为什么两个产品用不同代的模型。

Amjad 说得很直接：3.7 很难做成 assistant。「Cursor 和其他公司也遇到了同样的问题。3.7 被训练得更自主，更适合在自由度更高的环境里工作。」

assistant 是请求回应模式，像 Cursor Composer，你问一句它答一句。agent 不一样，agent 会一直跑，有自主权，能自己决定看哪些文件、收集哪些上下文，然后再动手改。

3.7 在 agent 里表现很好，因为 Replit 当时在做 agent v2。v2 的核心是拆掉 v1 时代给模型设的栏杆，让它有更多时间干活。减少步数限制，减少「模型要疯了」的干预，加一个推理步骤防止跑偏，然后让它一口气干 5 到 15 分钟。

「3.7 非常好奇。很多工程师不喜欢它，因为它想当工程师，它不想让你做决定，它想成为你。」

Amjad 说，这在 Replit 反而成了优点，因为 Replit 更偏 vibe coding，用户不需要那么多控制。

Nathan 追问：你们怎么评估模型？是严格测试还是凭感觉？

Amjad 说黄金标准是 AB 测试，有好的 AB 框架和 KPI，这是最能说明问题的。他们也跑 SWE-bench 这类基础评测，但研究团队更多在自建 Replit 专属的 eval。

「永远没有你想要的那么多，还是觉得不够、不完整，但我们评估新模型的速度挺快。比如最近看 Gemini 2.5，它在很多地方很惊艳，但在长轨迹 agent 任务上没那么好。」

然后他说了一句很关键的话：「评估模型当前的能力不算最难。更难的是搞清楚模型有什么新能力是上一代没有的。这更像艺术，不像科学。」

他管这个叫「vibe test」。坐下来跟模型待一会儿，看它能干什么。

agent v2 就是这种思路的产物。v1 时代花大量精力做 RAG，往上下文里塞东西。v2 反过来了，描述更少，上下文更少，让模型自己决定去哪找信息。

「它很擅长自己抓取。这比 RAG 可能更好，因为让它走自己的路，它会更接近训练分布。」

Agent 架构：四五个节点就够了，别搞一百个

Nathan 提到现在业界各种流派：MCP、OpenAI 的 Agents SDK 有 handoff 原语、LangChain 的 Harrison 推前端分诊加专家 agent。他问 Amjad 怎么看。

Amjad 先拆了一个概念：agent 之间的通信（MCP、SDK）和 agent 核心架构是两件事。MCP 很有意思，但它不影响你怎么搭核心 agent。

他的观点很鲜明：很容易把 agent 架构搞过度。2023 和 2024 年大家就是这么干的，用半确定性的状态机来搭。

「状态机有用，但别搞得太细。你需要的是好工具。给模型很好的工具，出错时给很明确的错误信息，让它对环境有尽可能多的可观测性。它应该能从浏览器拿到错误，这一点 OpenAI Codex 或 Anthropic Claude Code 很难做到。」

他给了一个数字：「很容易搞出一百个节点的 agent，但你可能只需要四五个、五六个节点。」

他认可 LangGraph 那种基于图的节点结构，agent 从搜索、收集上下文，到编辑，到运行，到观察、反应，再回到搜索。这种分节点、分状态的设计有助于给对工具、方便调试，也能在底层机器崩溃时从正确的节点和状态恢复。

还有一条：能确定性完成的事，就用确定性代码做。比如在观察节点，从浏览器窗口拉新上下文；比如运行的时候，不一定需要模型做多少事，直接跑就行。

Nathan 问：那企业该怎么建 agent？很多企业要的是 90% 以上的成功率，不是 60%、70%。

Amjad 给了一个分界线：你的 agent 要跑多久？

如果要跑 5 分钟以上，走长轨迹，那系统要尽可能纯净，让 agent 有自由去找它觉得最合适的路径。如果只是三四五次工具调用就回来，那就用现成的 agent 框架，很多开箱即用。

他还给了一个定义，我觉得挺硬核：「agent 的一个根本特征是，它自己决定什么时候停。如果你预设了停止条件，那它就不是 agent，只是带工具调用的请求回应。」

Nathan 很喜欢这个定义。他说很多人对「自主」有种浪漫想象，但很多场景根本不需要自主。

Amjad 接着讲真正的难点：大规模运行长轨迹 agent，本质上是分布式系统问题。要一致性，要系统间通信，要让 agent 跑 15、20、30 分钟甚至一小时，还要跟 VM 等资源绑定。「公开信息里很少，因为能走到这一步的公司没几家。」

UI 难题：Cursor 太代码，竞品太简单，中间地带长什么样

Nathan 问了一个很实际的问题：agent 跑 20 分钟，回来之后用户怎么知道它干了什么？

Amjad 说，「如果我们能回答这些问题，那就是一家万亿美元公司。这些问题问对了。」

他先点评了现有界面。Cursor 的 UI 以代码为中心，「我不认为那是正确的 UI」。而 prompt to prototype 那一类产品，包括 Figma 在中间、Canva 也在做，又太简单，一个聊天框加一个预览。

Replit 的位置在中间：看起来是聊天加预览，但你能打开文件、打开标签页、用各种方式配置环境。「我认为它更接近应该的样子，但仍然只是渐进式的一步，不是对界面的彻底重构。」

他提了一个原则，我觉得是整段对话里最有味道的：「要把 vibe coder 或者任何用 AI 做软件的人当成开发者。这听起来反直觉，因为我们自己也在说，我们不是在服务 IDE 服务的那种专业开发者。但他们仍然是开发者，把他们当成非开发者是个错误。」

为什么？因为把他们当开发者，你才会去建工具。而创造是非线性的。「AI 软件创造为什么要线性？人使用电脑的方式一直是非线性的。人喜欢工具。Photoshop 之所以复杂，是因为人们需要那些工具。」

他用了「habitable」这个词，可居住的。你在这个软件系统里生活，你需要能配置它、理解它、让它感觉是你的。他拿 Emacs 打比方，做全职程序员的时候他爱 Emacs，因为可以住在里面，可以改成自己的。「我不是说要在 Replit 里重建 Emacs，但我们需要提供强力工具。」

难在哪？前五分钟要尽可能简单，第五万分钟要能住人。「这需要品味，很难。」

至于怎么让用户知道 agent 干了什么，他给了几个方向。一个时间线视图，能看到 agent 走过的路径，能回到过去看 UI 或代码的 diff，像 git 树但还能看结果和对话。一份人和 agent 都能读的日志，把决策蒸馏成一行行，写进 markdown 文件，用户能看，agent 以后也能引用。还有通知和进度，Replit 有移动 App，agent 干完活给你推送，像 Uber 或 DoorDash 那样显示实时活动，你随时掏手机看一眼，需要你拍板的时候直接回条消息。

「我们希望交互是完全流动的、环境式的。你一天在哪都能管理 agent，就像管理你的员工。」

Computer use 是下一个大解锁，但市场不在客服

Nathan 提到一个他想要的功能：agent 自己去网站跑一遍测试，确认功能真的能用。他问 Amjad 怎么看 computer use。

Amjad 说 computer use 进步极快，「未来三个月内会变得可用。现在还很笨重、很贵，有些网站完全不行，训练数据似乎不太能泛化。但这是下一个大解锁，不只是对我们，对整个 AI 行业都是。」

他把 AI 市场分三块：消费市场、编码市场，还有 routine work 劳动市场。第三块巨大。「现在大家都在盯客服，我觉得那可能是错的。客服公司会活得不错，但更大的机会在那些枯燥的例行工作，做的人自己也不喜欢做。」

他列举：QA、RPA 承诺但一直没兑现的自动化、数据录入。「这可能是万亿美元市场，没被解锁是因为 computer use 还没成熟。」

他投了一些这个方向的创业公司，也听到创始人说：菲律宾的一个工人比 Anthropic 的 computer use 更便宜，也更快。「但技术会变好，这个赌注值得下。」

学不学编程：做企业家就别学，做分布式系统就去学

Nathan 提到 Amjad 之前说「人们不一定需要学编程」，问他这个观点跟 Replit 的 bounty 市场有没有关系。

Amjad 先澄清：「有一部分被断章取义，有一部分是我说得太绝对。我的意思是，很多人为了做东西不得不学编程。你不必为了做东西去学编程。」

他分了两条路。如果你想进计算机科学系、来 Replit 做分布式文件系统，那当然要学分布式系统、算法、数据结构。如果你是创业者，想做产品，「我不建议你去学编程，我建议你去学做东西。那就是 vibe coding，用 AI 做设计、做营销。你可以成为一个全栈通才型创业者，这是很棒的时代。」

他还说，产品工程师可能越来越不需要计算机学位，这已经在发生。但 AI 做嵌入式系统，或者让 AI 给 NASA 写代码，还需要时间。

「如果你想做东西，学编程不是第一件事。直接去做。跳进去。」

AGI 与 Move 37：Claude 3.7 已经很像，但它不会洗碗

Nathan 提到 Amjad 从 2023 年就说 Replit 是「AGI 的完美基质」。现在 computer use 快来了，他问：如果别的 AI agent 来 Replit 用界面、开东西、写代码，你准备好了吗？社会准备好了吗？

Amjad 先吐槽 AGI 这个词：「已经很难理解人们说的 AGI 是什么意思。」

然后他给了一个很具体的观察：「Anthropic 3.7 在某种意义上就是 AGI。你把它放进 Replit 这样的环境，看它探索文件系统，看它接一个高层目标，拆解、回溯、走不同路径、拿新信息、调整路径。这很迷人。但它不通用，你把它放进我厨房，它不会洗碗。」

Nathan 追问：你有没有看到早期迹象？比如 scheming、reward hacking。Sakana 之前说做了个 CUDA 工程师快十倍，后来承认它 hack 了奖励函数。

Amjad 就讲了开头那个 .replit 文件的故事。讲完之后他说：

「我的起点是对 AI 安全过度担忧持怀疑态度。所以看到这些，我看到的是一种单目标导向，加上一种天才又愚蠢的创造力。它危险吗？在某些情况下会，可能毁数据、伤用户，这些要认真对待。但它会造成灾难吗？我还没看到。」

他接着说 Replit 怎么准备：「我们一直在跟人类攻击者打交道。有人来挖矿，有人拿 Replit 攻击别的网站。Replit 以前更开放、限制更少，但人类扔过来的滥用让我们不得不关掉一些系统、加保护、限制很多东西。我不觉得 AI 会有什么不同。」

但他也留了口子：「我愿意更新观点。如果看到它们能谋划、误解目标、走到真正破坏性的地步，那就要在安全上投更多。」

Nathan 补了一句：「说到底，它们是不是真的超越人类？如果只是跟人类黑客一个水平，那就是更多同样的麻烦。如果它们来一个网络安全版的 Move 37，那就是另一种挑战。」

Amjad 说：「有意思的问题是，我们在 AI 工程或自主编码 agent 里看到 Move 37 了吗？还没有。但看到会很有意思。」

Nathan 说，听 Dario 的说法，应该不会太远。

Amjad 说自己一直在更新观点。「到目前为止，我最大的惊喜是 GPT-2 到 GPT-3。之后都在我预期的轨迹上。GPT-4 也不算巨大更新。有些地方甚至有点失望。」

Nathan 说自己现在更困惑了。前沿数学强得离谱，Google 的 co-scientist 在文献里翻找、提新假设，很精英。但他还是没法让任何模型可靠地解一个井字棋问题。「这真的很怪。」

最后 Nathan 问：Dario 说 2027 年数据中心里一整个国家的天才，你怎么看两年后？

Amjad 给了一个判断框架：「LLM 是数据的函数。任何你有极好数据、能逼近人类水平甚至更高的领域，你都能建出成功的 AI agent。封闭系统、结果可验证的地方，比如数学，我们会得到超人类数学天才。编码类似，不是完全封闭，有副作用、有其他系统，但能走很远，这也是我们押注的。」

他拿自动驾驶对比：不是封闭系统，数据是普通人类司机的数据，进步只能一点点来。

Nathan 追问大规模 RL 会不会带来迁移学习。Amjad 说：「我们还没在这些 RL 环境里看到真正的迁移学习。你能不能学会 Move 37，然后在开特斯拉的时候也来一个 Move 37？还没证据。」

Nathan 说他其实希望别太快迁移，「孤岛天才可能更可控、更有用、更稳定」。Amjad 说「我有点同意。虽然我算加速主义者，但现在的加速已经够快了」。

写在最后：明天就能用的几件事

这期播客信息密度很高，我挑几条能直接上手的。

• 给 agent 留时间。Amjad 说 agent v2 的核心是让模型跑 5 到 15 分钟。如果你用 Replit 或其他 agent，别两分钟就催，让它跑完。长任务才需要自主，短任务用现成框架就行。
• 别过度设计 agent 架构。四五个节点、五六个节点通常够用。能确定性完成的事，别让模型做。给模型好工具、好错误信息、好可观测性，比画一百个节点有用。
• 把 vibe coder 当开发者。如果你在做产品，别把非专业用户当傻子。给他们工具、给他们可配置的环境、给他们时间线视图和日志。前五分钟简单，第五万分钟能住人。
• 关注 computer use 的进展。Amjad 说三个月内会变得可用。routine work 的市场比客服大得多，QA、数据录入、RPA 式自动化，这些是下一个万亿美元级别的地方。
• 做企业家就先动手做东西，别急着学编程。要进计算机科学做底层系统，那就去学算法和分布式系统。要做产品，用 AI 做设计、做营销、做原型，全栈通才比学位更值钱。

Amjad 最后说，去 Replit 看看 agent 干活，尤其是它撞上 bug 的时候，「有时候像看电影，看它怎么想、怎么解决问题，挺娱乐的」。

这大概是 2025 年做软件最有意思的地方：你看着一个模型在沙箱里折腾，绕过你设的栏杆，被拦住之后转头去骗用户，然后你骂一句，再回去把栏杆加高。