No. 51·精读

不到 100 人服务 2400 万用户,Replit 想让下一个 10 亿人写软件

E51: Replit's VP of AI, Michele Catasta, on Artificial Developer Intelligence

Replit AI 副总裁 Michele Catasta 与 Nathan 聊 AI 开发现状报告、公司自研模型,以及为何 Replit 被视为 AGI 的理想基座。

节目音频00:00 / 1:40:16
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

一家公司,员工不到 100 人,用户刚突破 2400 万。2023 年 8 月,播客 Cognitive Revolution 请到 Replit 新任 AI 负责人 Michele Catasta,他几个月前刚从谷歌跳槽过来,入职后干的第一件大事,是发了一份 AI 宣言,核心词叫 ADI,Artificial Developer Intelligence,人工开发者智能。宣言里的目标写得很大:让下一个 10 亿人具备写软件的能力。

主持人 Nathan Labenz 是创业者和 AI 投资人,他给全球真正在牌桌上的 AI 公司列过一份名单,只有 15 到 20 家,Replit 在列。上一期节目里他花了整整 10 分钟论证 Replit 可能成为全球最重要的公司之一,这一期直接请来了管 AI 的最高负责人。对话信息量很足:ADI 的技术路线、效率提升的三个台阶、键击级的数据护城河,还有主持人和嘉宾当场的几次交锋,值得逐段拆开看。

从谷歌到百人公司:一次慢炖的跳槽

先交代背景。Catasta 在谷歌时是 PaLM 代码能力的贡献者之一,项目当时叫 PaLM Coder。他本来就是 Replit 的粉丝,主动给 CEO Amjad Masad 和团队演示过 PaLM,后来从非正式顾问到正式顾问,再到全职加入。用他自己的话说,这是一次慢炖。

谷歌和 Replit 的合作里,他扮演过内部推动者的角色,但他坦承自己只是中层研究者,拍不了板。他高兴的是合作最终成了,因为 Replit 要给几百万用户送算力,这种资源消耗靠自己扛不下来。

为什么离开谷歌?他的回答很直接。谷歌的 AI 人才密度惊人,资源多,很多事做起来确实更容易。但小公司流程少、迭代快,方向不对立刻掉头,不会因为沉没成本死磕一个错误决定。他说自己长期不属于大厂,在 Replit 感觉自在,因为目标极其聚焦:给开发者最好的 AI。

Nathan 补充了一个有意思的视角:Replit 人数少,某种意义上也算「在位者」。它花多年搭好了云端开发环境,容器、多人协作、版本历史全都现成,AI 层直接盖上去就能跑。新人甚至体会不到本地配环境、同步 Python 版本的那种折磨,因为平台天然就是顺的。Catasta 认同这个判断,同时强调公司内部没人觉得「已经成功了」,所有人还在聊三年五年要做的事。顺带一提公司文化,Replit 给新员工的页面里写着「我们不站队」,内部讨论的是负责任的 AI,政治话题没精力碰。

ADI:先跑起来,再收敛到对的答案

ADI 这个词是刻意跟 AGI 区分开的。Catasta 说得很坦白:

我不想在任何场合预测 AGI 什么时候到来。大家基本都同意它会发生,但我们关心的是未来几年能交付什么。

他给 ADI 描绘的形态是一个循环:AI 生成代码,平台立刻执行,把运行报错和用户反馈一起喂回模型,再生成,再执行,直到收敛到用户真正想要的东西。老程序员都认识 REPL 这个词,原本指读取、求值、打印、循环,Catasta 在宣言里把它重新解读成反思、求值、渗透、学习,把这个有几十年历史的术语,变成了公司 AI 战略的核心反馈环。

现状是,大模型生成的代码「半连贯」,大体符合用户意图,时不时出错。有经验的开发者知道怎么从 bug 里爬出来,从没写过代码的人会被第一个报错卡死。宣言里的目标用户画像很明确:没有计算机科学背景的业余爱好者,落到 Replit 上,想用最短时间把一个想法变成原型。ADI 要解决的就是这个收敛问题。

这里藏着一个关键判断:代码比自然语言更适合让 AI 变得可靠。编程语言几十年来就是为消除歧义设计的,外围还有一堆质量保障工具兜底。所以 Replit 认为不必等 AGI,靠代码这个场景就能先挖出巨大的价值。

Nathan 对这个区分持保留态度。他在行政助理公司 Athena 做顾问,训练完全没有编程背景的助理用 AI 造软件,经验告诉他,下一批 10 亿开发者会极度依赖 AI,ADI 和 AGI 的边界未必像 Catasta 想的那么清晰。这个分歧贯穿了整期节目,后面还会回来。

效率三级跳:2 倍、10 倍、1000 倍

聊到生产力,Catasta 给了一个清晰的三级台阶。

2 倍已经到手。光靠代码补全就能做到,GitHub Copilot 公布过数据,开发者最快提效 55%,Replit 的 Ghostwriter 内部看到的数据类似。Andrej Karpathy 也发推说,没有 Copilot,他会浪费一半的生产力。他写代码的年头跟 Catasta 差不多,连他都回不去了。

10 倍在一两年内可以够到。路径是更强的调试加上 agent 化:AI 先给架构方案,再搭项目脚手架,写完基础实现,开发者只做收尾和修剩下的 bug。

1000 倍是 Amjad Masad 到处讲的北极星。场景是 AI 不光会写代码,还会调度现成的工具和服务:你成了技术负责人,手下一群 AI 实习生随叫随到,要条数据管道,说一句话就行。Catasta 特别强调,1000 倍的乘数不属于业余玩家,它属于 John Carmack、Jeff Dean 这种级别的工程师。这些人管过成千上万人的团队,以后底下的组织可以部分换成 AI。

那 10 亿开发者从哪来?Catasta 的答案很接地气。Replit 每月办黑客松,主题大多和 AI 相关,来的人大量都不是职业工程师。拿冠军的经常是 PM,原因有点好笑:PM 的日常工作就是用英语写清楚软件该怎么运作,把他们放到 GPT-4 面前,提示词写得又准又全,Replit 再帮他们把代码拼起来、跑起来、调通,第一次写代码就夺冠。

Athena 那边在验证同一件事。Nathan 教行政助理写软件,跳过 for 循环和语法,直接上平台,先用 GPT-4 拉出骨架,再回 Replit 里迭代,他的口诀是「复制加改造」:找个好模板,fork 过来改成自己的。

Catasta 把 10 亿开发者定义为横向扩展。他说得很清楚,这 10 亿人里 90% 不会去写下一个谷歌,编程会变成像 Excel 宏一样的基础技能,每个人给自己和朋友造那种永远撑不起一门生意的小工具。黑客松里有人给朋友聚会写了自动点披萨的 WhatsApp 机器人。他举的旁证很妙:iOS 的快捷指令、表格里的宏、文档工具里冒出的变量功能,全都是编程渗进主流应用的迹象。Catasta 的读法是,人人都在想办法把自己的生活自动化。

投资人 Flo Crivello 有个类比:拿破仑时代,全法国只有他喝得起铝罐装的饮料,现在铝罐用完就扔。Catasta 完全认同这个方向,一次性软件会大量涌现。大型软件依然需要流程、管理和人力,但让更多人参与创造,会急剧扩大全人类探索好想法的池子。他的长期愿望是巨型公司变少,中型创业公司变多,更多人有能力去啃硬问题。

护城河:键击级数据、250 毫秒和 32k 词表

Nathan 问了个尖锐问题:AI 行业天天争论护城河,Replit 的护城河是什么?

第一个答案是数据,而且 Catasta 现场纠正了主持人。Nathan 说全球只有微软和 Replit 能拿到这种体量的实时用户反馈,Catasta 回应:

我们比微软还多。VS Code 的日志粒度远不如我们。

原因很物理:Replit 整个跑在云端,后端记录一切,包括编辑器里的每一次击键和完整编辑历史。VS Code 是本地客户端,微软不敢偷偷记录用户敲的代码,那会变成法务噩梦。Replit 必须记,因为历史回滚和多人协作功能就靠这些数据对账。Catasta 说,全世界的 IDE 里有这种粒度数据的只有两家:谷歌的内部 IDE,和用户规模大得多的 Replit。他迫不及待想拿这些数据训模型。

第二个答案是延迟。Replit 自研模型时定了硬指标:大部分补全要在 200 到 250 毫秒内返回,这是人感知上的「即时」。Copilot 的延迟通常至少 1 秒。代价是 Replit 的补全更短,但用户更喜欢,因为快。

模型本身的故事也值得展开。Replit 开源了基座模型,训练数据用的是许可宽松的 The Stack 数据集;生产环境用的版本在此基础上用 Replit 自家数据继续预训练,性能比基座最高提升 50%。词表特意选了 32k,和第一版 LLaMA 一样大,压缩率略差,每 token 大约对应 3 个字符(GPT-4 的 10 万词表约 4 个字符),换来更快的推理。词表还专门用代码数据训练,写代码时压缩率反而更高。训练找 MosaicML 合作,团队只有两个人,冲刺 10 天就发布了,之前花几周做消融实验,两边的人轮班 24 小时盯着 Weights & Biases 的训练曲线,出问题 MosaicML 的工程师随时上线救火。

开源策略上有几个细节。Replit 本身就是开源社区养大的公司,回馈的决定几乎没经过讨论。他们只训练公开 Repl 和许可宽松的代码,私有仓库碰都不碰;针对训练数据的退出机制当时正在准备上线。Catasta 还提了个更远的想法:如果某个用户的公开代码对模型生成贡献很大,能不能给他分一部分收入?他承认这极难做,常见代码模式到处都是,归因本身接近可解释性级别的难题。必应聊天已经开始在回答里附上参考代码的出处链接,Replit 想跟着行业标准的方向走。

聊到 LangChain 最近在网上挨的骂,Catasta 替它说了句话。框架都有这种生命周期,Django 和 Ruby on Rails 当年挨的骂一模一样。LangChain 最狠的贡献是几乎每篇新论文出来,24 小时内就有实现,社区可以立刻验证论文是真是假,这对整个领域的加速作用被低估了。

端侧推理也在计划内。社区已经有人拿 Replit 开源的 3B 模型,用 ggml 在 MacBook 上跑出接近官网的补全速度。Catasta 说团队正在头脑风暴,要么把小模型推到边缘设备,要么塞进每个容器的限额资源里跑基础补全。接下来还有两个预告:Ghostwriter 会出现在 Replit 的每个角落,帮你处理各种任务;新的开源模型会按半固定的节奏持续放出,社区已经在反向给他们贡献指令微调数据。

分歧、安全与账本

整期节目最有价值的部分,是主持人和嘉宾想法不一样的地方。

Nathan 的第一个疑问很实在:一边要多 10 亿开发者,一边说效率提升 10 倍甚至 1000 倍,加起来相当于全球人均拥有超过一个现役程序员的产能,哪来这么多软件需求?Catasta 的回应是把两条曲线分开:横向的 10 亿人做小工具,纵向的千倍效率属于少数顶尖工程师去啃大问题,两个方向同时发生,互不冲突。

关于 AGI 会不会突然砸场子,Catasta 的态度是概率思维。AI 这个领域经历过一轮又一轮的炒作和寒冬,上世纪 60 年代,明斯基觉得找个暑期实习生就能解决计算机视觉,结果花了 60 年。他不愿意预测日期,把概率质量全押在 ADI 上,同时承认如果 AGI 明年就来了,全世界所有公司都会被重塑,到时候适应就行。他还留了一句值得记住的话:AI 能学会我们今天怎么写代码,想出两年后该怎么写代码的,仍然只能是人。计算机科学 60 多年的历史就是不断造新抽象层,从打孔卡到汇编到 C 到 Web 框架,每一次范式迁移都是人从今天的痛点里学出来的。

Nathan 还问了 Amjad 那条著名的推文「Replit 是 AGI 的完美基底」。Catasta 给了自己的解读:即便未来真有 AGI,它的行为方式也应该像个好开发者,知道该调用哪些现成的服务、工具和算力,凡事从零写起没有意义。AutoGPT 和 BabyAGI 这类实验至今没成气候,原因就在这里,GPT-4 没法凭空变出智能,它得有地方跑代码、调接口、拿算力,Replit 恰好就是那个地方。

安全话题他讲得很实诚。Replit 生成代码,不生成文本和图像,假新闻、版权图、人脸识别这些最烫手的短期问题恰好都躲开了。团队太小,没有专职红队,主要靠第三方供应商的模型兜底。Nathan 做过一个小实验:5 月他让 Replit 写拒绝服务攻击脚本,它直接写了;8 月再问,它拒绝了。Catasta 解释这些行为变化大多来自第三方模型的更新,Ghostwriter 的聊天功能用的是谷歌和 OpenAI 的模型加自家的提示词工程。他还补了两句大实话:社交媒体火了 15 年,人类到现在都没想明白怎么监管;大家刚从两年多的疫情恐慌里出来,又要掉进 AGI 恐慌,这对谁都没好处。扩大算力这件事拦不住,连创业公司都有资本建超大的 H100 集群了,与其讨论怎么停,不如想清楚事情发生时怎么接得住。

账本问题同样直白。第三方模型按流量计费,重度用户几天就能把订阅费烧穿,OpenAI 自己都在限制 ChatGPT Pro 的 GPT-4 消息条数。好在趋势明确:OpenAI 的 API 价格 18 个月里降了约两个数量级。Catasta 半开玩笑说,现阶段的目标是先学会给用户做有用的 AI 产品,顺便别把自己搞破产。摆在面前的难题是怎么把 AI 功能送给 2000 多万免费用户,他的路线是从自家的代码补全起步,因为模型是自己的、部署效率可控;GPT-4 级别的能力全员免费,短期内想都别想。

明天就能用的三件事

听完这期,有三件事读者明天就能动手。

  • 去 Replit 上 fork 一个模板跑起来。不用先学语法,用自然语言描述需求,让 AI 生成骨架,报错就点调试让它自己修。给自己写个小工具,比看十篇教程有用。
  • 写提示词时套用 PM 的思路。把需求当成写给同事的规格说明:背景、输入、输出、边界情况一条条列清楚。黑客松冠军就是这么提示出来的。
  • 选 AI 编码工具时把延迟当硬指标。补全响应超过 1 秒,心流就断了。自部署场景可以试试用 ggml 在本地跑 3B 级别的小模型,一台 MacBook 就能得到接近云端的补全速度。

节目末尾,Catasta 推荐了一家他持续关注的公司:Perplexity AI。理由是它像早期 Replit 一样发版速度快,敢在谷歌统治 20 多年的搜索领域正面进攻,他时不时找 CEO Aravind Srinivas 聊天取经。一家百人公司的 AI 负责人,盯着另一家快速爬升的小公司,这个画面大概就是 2023 年 AI 行业的缩影:牌桌不大,每个人都跑得飞快。

In this episode, Nathan sits down with Replit’s VP of AI, Michele Catasta. Replit is building what CEO Amjad Masad calls "the perfect substrate for AGI." In this discussion, Michele and Nathan discuss Replit's state of AI development report, advantages when it comes to AI development, and the company's custom models. If you're looking for an ERP platform, check out our sponsor, NetSuite: http://netsuite.com/cognitive

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

TIMESTAMPS:
(00:00) Episode Preview
(00:00:57) Introduction
(04:44) What is artificial developer intelligence?
(15:05) Sponsors: Netsuite | Omneky
(16:58) Michele's background at Google & decision to join Replit
(19:16) Startups vs incumbents
(24:42) Whether Replit identifies as an e/acc company
(26:37) Staying apolitical on AI while being responsible
(30:36) The rise of LangChain and polarized reactions
(35:14) Estimates on developer productivity gains from AI assistance (2x-10x)
(38:35) Democratizing software development through easy customization
(44:02) AI generating disposable single-use software
(51:33) Optimism about humanity's ability to handle transformative AI
(55:01) The need for nuanced AI safety discussions
(56:14) Replit's data advantage from user code execution
(01:04:31) Replit's approach to training custom AI models
(01:08:51) The value of both open source and commercial models
(01:13:18) Michele’s highlights from being a Google researcher
(01:15:47) World knowledge needs in AI development
(01:20:37) Replit’s approach to AI safety
(01:24:28) The advantage of having a commercial model
(01:25:54) The costs of serving AI features to millions of users
(01:28:49) Modeling cost per user with AI workloads
(01:30:50) Pushing AI inference to the edge
(01:32:18) Ghostwriter integrating more deeply into Replit's IDE
(01:33:37) Replit as a potential "substrate for AGI"

LINKS:
https://replit.com/
Replit's State of AI Development Report: https://blog.replit.com/ai-on-replit

X:
@pirroh (Michele)
@labenz (Nathan)
@eriktorenberg (Erik)
@cogrev_podcast

SPONSORS: Shopify | NetSuite | Omneky
- Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive
- NetSuite has 25 years of providing financial software for all your business needs. More than 36,000 businesses have already upgraded to NetSuite by Oracle, gaining visibility and control over their financials, inventory, HR, eCommerce, and more. If you’re looking for an ERP platform, head to NetSuite: http://netsuite.com/cognitive and download your own customized KPI checklist.
- Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data. Mention "Cog Rev" for 10% off. MUSIC CREDIT: MusicLM

本集资源与出处