No. 4·精读

一亿美金训练,一分钱推理:四个创业者把 AI 的末日论和生意经吵透了

E4: The AI Moment with Amjad Masad, Flo Crivello, Dan Romero, and Antonio Garcia Martinez

Amjad Masad、Flo Crivello、Dan Romero 与 Antonio 等辩论 AI 时刻、AGI 前景与炒作。

节目音频00:00 / 35:32
中文精读由 AI 基于原始访谈改写,非官方翻译,可能存在偏差或错误;表述以原节目为准。

2023 年 2 月的一期播客里,两个人当着麦克风吵了起来。Flo Crivello 花了五分钟,认真推演出“AI 最可能的结局是人类灭绝”。Antonio Garcia Martinez 的回应只有一句:我认为他们完全在胡扯。

这场交锋发生在 Moment of Zen 的一期圆桌里,后来被 Nathan Labenz 的播客 Cognitive Revolution 剪辑转发,Nathan 自己也在桌上。四个人都有点来头:

  • Amjad Masad,Replit 创始人兼 CEO,公司做着 AI 编程助手 Ghostwriter,属于这波浪潮里直接卖铲子的人。
  • Flo Crivello,前 Uber 产品负责人,Teamflow 创始人,桌上的末日派代表。
  • Dan Romero,去中心化社交协议 Farcaster 创始人,早年做过 Coinbase 高管。
  • Antonio Garcia Martinez,《Chaos Monkeys》作者,做过 Facebook 广告产品,当时在创业做 Web3 增长分析公司 Spindle,桌上的头号怀疑派。

一个多小时聊下来,末日论、编程、公司形态、投资方向全吵了一遍。下面按话题拆开讲。

末日派的推理链,环环相扣

Flo 的论证是一条完整的三段论。第一步,接受唯物主义前提:人就是一台肉身计算机,没有任何物理定律禁止用图灵机把这台计算机造出来。接受了这一步,人类水平的 AI 迟早出现。

第二步,智能爆炸。AI 上线后训练下一代 AI,下一代再训练下一代。Flo 提到,OpenAI 内部已经在用 GPT-4 辅助训练 GPT-5,这个循环今天已经启动,只是还以年为单位。极限状态是缩短到毫秒。他引用了那个著名的描述:你去吃顿午饭,回来世界已经变了。这就是奇点,因为你无法预知下一秒发生什么。

第三步是最悲观的推论:一个算力巨大、却并不真正理解人类偏好的系统,你给它的任何目标都不够具体,对齐注定失败,所以最可能的结局是人类灭绝。

Flo 还补了一层:摩尔定律意味着不会只诞生一个 AGI,而是无数个。极限情况下,每个笔记本用户手里都攥着一个 AGI。对齐一个 AGI 已经是不可能的事,你要把这件不可能的事重复一百万次。他把这套观点的源头指向 LessWrong 社区的 Eliezer Yudkowsky,也提到从那里分出来的 Paul Christiano。Flo 自己的表态是:AGI 时间表在快速压缩,担忧在缓慢上升。他甚至说,就算现在冻结所有进展,未来十年文明也会被彻底改变。

前一晚他和一位 AI 研究者吃饭,对方把当下称作第三次大收敛:第一次在 2012 年,ImageNet 比赛那一刻,整个领域押注深度学习;第二次在 2017 年,Transformer 论文《Attention is All You Need》发表;第三次从 2022 年前后开始,主角是大语言模型。LLM 把语言这件事做到了极致,而大量任务都可以建模成语言任务:问答、搜索、写代码、给机器人当推理引擎,全部适用。

“我认为他们完全在胡扯”

Antonio 的反驳分三层。

第一层是文化考古。科幻末日文学里有个固定桥段:世界毁灭、法治崩塌、进入 Mad Max 状态,最后掌权的是那帮会让计算机跑起来的人。他觉得末日论就是这种书呆子幻想的投影。他往深挖了一层:robot 一词出自 1920 年捷克作家恰佩克的戏剧,剧情就是机器人造反;犹太民间传说里有泥人哥仑,人类造物反噬造物主。“造物反叛”是刻在西方文化里的深层母题,末日论者只是没意识到自己在复述神话。

第二层更狠,矛头指向另一个极端。把库兹韦尔演讲里的“奇点”全局替换成“末日审判”,你得到的就是一篇福音派布道词。超人类主义是用科学语言写成的基督教末世论,写的人不读宗教经典,所以毫无察觉。

第三层是拟人化偏差。有孩子的人都知道,小孩认知发育的第一件事,就是给玩具甚至纸箱子起名字、安性格。人类天生爱给万物安上能动性。看到模型里闪现一点能动性的影子,就推论它能自己形成抽象目标、制定计划、执行到底,Antonio 认为这一步跨得太远。他的定位很干脆:LLM 是一种新式计算机,一个强大的工具。要在世界上独立创造巨大价值,需要规划、需要情绪、需要心智理论,想想创业者要花多少时间说服别人,他不确定这些东西现在造得出来。

Nathan 追问 AI 女友算不算。Antonio 的回答:它会看起来像、表现得像,能骗到一些人,ChatGPT 已经在骗了。但骗人不等于它是,也不等于它强到能灭掉我们。

他倒是留了个口子。《时间机器》里人类退化成 Eloi、被地底的机器供养,这种结局也许会发生,而且某种意义上已经发生:我们为推特上毫无结果的骂战激动不已。

Nathan 试图把争论量化。他的观察:在很宽的任务面上,最好的 AI 已经超过普通人类,只是还没到专家水平。谷歌把 PaLM 模型和 BIG-bench 基准上的一组人类评分员(大致是软件测试员背景的普通人)对比,AI 赢了。Antonio 的反应是,这种论调他听过,当年深蓝赢卡斯帕罗夫时一模一样。他搬出 Dijkstra 的名言:

“问计算机能不能思考,就像问潜艇会不会游泳。潜艇一小时游不了一海里,但它能跑四十节。”

问题本身问错了方向。

编程是第一个被改写的行业

回到现实层面,四个人分歧不大:编程是第一个被 AI 大规模改写的知识工作。

Amjad 的判断:过去造软件要学一堆冷门知识,现在写英语就行。专家级软件工程师的能力,正在被交到全世界每个人手里。后果有两个:很多东西变便宜,通缩;普通人拿到超能力。一种新式创业正在冒头,过去需要一家公司、一群人才能做出来的东西,现在一个人就能做。他预计一批新的百万富翁、亿万富翁会从这波人里出来。

有人问 Amjad 还教不教孩子编程。教。理由很具体:模型生成的代码准确率到不了百分之百,你得会调试。他还给了一个反直觉的事实:程序员大部分时间花在读代码和理解代码上,写只是小头。这个比例会进一步倾斜,压力会传导到工具层:调试、可视化、让 LLM 解释代码,都是机会。前端工程师会变成什么样?他描述的画面:可能一行代码不写,主要在跟一堆 LLM 对话、把东西拼起来,工作内容更像项目经理和产品经理。

Flo 接过话,管这叫“乔布斯黑药丸”:早期计算机行业的梦想是人人都是程序员,没有用户和程序员的二分。乔布斯用漂亮的界面普及了“终端用户”的概念,从此大多数人是软件的消费者,创造者成了少数。软件创造这件事会回归:个人软件、给自家业务写的小工具、用完就扔的代码。这类代码不需要百分之百准确,也不追求极致性能。想当职业程序员的人照样要学编程,普通专业人士可以不学。

对工程师层级的影响,Flo 的说法是涨潮:10 倍工程师变 100 倍,1 倍工程师变 10 倍,原本不是工程师的人会进来,先干简单活,再干越来越复杂的活。潮水抬高所有船。他还提到 Anthropic 刚发表的 Constitutional AI,用 AI 反馈替代人类反馈做强化学习,算 RLHF 的下一代。

Amjad 补了模型的两个硬伤。第一,模型不会系统性思考。让 GPT-3 把日期从“日月年”改成“月日年”,给足示例,它能做到 99.8% 的正确率,但永远有 0.2% 的失败。换句话说,它大致理解了任务,执行方式却谈不上系统。第二,模型跑起来贵得离谱,用大模型转一个日期格式,永远比跑一段代码贵。

所以他预判 AI 会学会用工具:遇到高频、要求系统性、要便宜可靠的任务,模型该自己写段代码来干。今天技术上已经可行:给 ChatGPT 配一个 Python 解释器、配一个搜索引擎,跟它说“帮我订张机票”,它去搜索、写程序、调 API、下单,完全做得出来,只是没人把它做出来。他的原话是:工程远远落后于能力,所有人都在挠表面。Replit 的 Ghostwriter 就是在这个判断下做的产品。

一万亿美金的两人力公司

聊到未来工作,Amjad 摊牌自己是《主权个人》的信徒。那本书预言的未来:全职雇佣变少,自由职业变多,公司随任务临时组建、干完解散。他判断这些技术第一次成熟到能支撑那个图景。他跟年轻程序员聊,几乎无一例外,野心已经从“进微软、进 Facebook”变成了自己干、做生意、把职业设计成自由最大化。手里配一支 AI 助手军团,一个人就是一支队伍。

Antonio 在这里难得地全盘认同。他把 PC 的个人赋权和 AI 类比,然后给了个数字锚点:WhatsApp 被收购时五十来个员工,卖了 190 亿美金。他的推论:十年内会出现一两个员工的一万亿美金公司。

Dan Romero 从薪酬角度插了一刀:如果按产出付钱,大公司里 10 倍工程师就该拿 10 倍工资,年薪一千万美金那种。现实里你看不到。你看到的是一批躺平领薪的人拿着 50 万美金年包。

Antonio 直接泼冷水:赏金系统是 Web3 里被验证过跑不通的东西,做赏金平台的公司最后都要绕着自己产品走。真想要上亿美金退出的 10 倍工程师,不会愿意整天干机械拆活的活儿。他替大公司辩护:谷歌需要 12 万员工,多数人日常就是“每天做好拿铁”,但关键时刻要随叫随到。囤人才是理性行为,就像亿万富翁养一堆看似闲着的助理,出大事时市场上临时买不到这种劳动。

他给出的规律:技术每降低一次进市场的交易成本,人们就更愿意去市场上买劳动。Uber 之前很多人养私人司机,DoorDash 之前有人雇整天待命的佣人,就为了一天一单。AI 加上更好的协调机制,可能让几百个程序员随时为你工作,你只管专注做那件十亿美金的事。

Amjad 还提了一个数据补偿的设想:如果能按 token 追溯维基百科的每一条贡献,未来正经的公司应该给训练数据的作者按比例分成。他把它当成伦理问题,也当成商业模式问题。

钱往哪投:护城河、分发和互补品

Nathan 最后把问题拉回实用:想加入或投资 AI 公司的人,什么公司能活,什么公司会变成商品?

Antonio 给了个三层分类:造大模型的公司、模型之上的水平应用、垂直应用。大模型的护城河是规模经济。他给了数字:GPT-4 训练成本大概一亿美金量级,算力加资源,再加 RLHF 的人工,这是一次性成本;推理成本,也就是每跑一次的成本,比训练低好几个数量级,一分钱量级。这就是 OpenAI 拼命融钱的原因。

但他紧接着拆掉了“算法护城河”:谷歌搜索为什么强?因为全世界的人都在替它打标签。赢的一直是数据集,从来不是算法。算法本身守不住,AI 也早已算不上产品,就像“回归分析”算不上产品,你得把它用到具体的东西上,才有人付钱。他反问:如果连谷歌都还没找到把 AI 变成现金的路,这些基本是给 ChatGPT 套壳的公司,产品到底在哪?

Flo 用经济学接住了这个问题:任何东西变便宜,它的互补品就升值。文本、音乐、图像的生产本来就不值钱,Fiverr 上雇人做就行,AI 让内容更便宜,而内容的互补品是分发,所以分发升值。他直接下结论:这对 TikTok、YouTube 是大利好。生产端从来不是价值所在,分发才是。

Flo 还给了个 20 年的判断:所有知识工作都会被自动化,编程是第一个,未来两年会出来一批“动手型”知识工作自动化,客服支持会是大头。他的概括很妙:知识工作就是一个夹在键盘和显示器之间的函数,AI 正在学会逼近这个函数。Nathan 当场质疑:这话 20 年来一直有人讲,明斯基在六七十年代就说过。Flo 的回应是这次不同:过去 AI 干不了任务就是干不了,现在是在很宽的任务分布上超过平均人类。

Amjad 的投资答案最具体。他自称看空 AI-first 创业公司,看多 AI 基础设施。理由是 LLM 的通用性史无前例:三个例子就能教会它你的意图。他说自己三秒钟就能造一个“Antonio 翻译”:给一组“英语 hello、法语 salut”,再说英语 home,它自己接出法语。这种通用性跃迁,上一次发生还是图灵机。他还给了一个温水煮青蛙的观察:把今天的 LLM 拿回早期 AI 时代,那批研究者多半会直接叫它 AGI。通用性是一点点涨的,不会有哪个时刻我们集体宣布“就是现在,AGI 来了”。

落到机会分布上:最大的赢家是有分发的成长期公司。Notion 给现有产品加 AI,比一个 AI-first 的新知识管理创业公司有意思得多。基础设施层,OpenAI 这类,加上围绕提示词的开发工具、提示词 IDE、微调技术,像云计算一样每家公司都会买。具体到配置建议,他的说法是:股票端按 FAANG 策略配,赌新一轮 S 曲线,再加英伟达这类基础设施;创业端做开发工具和 AI 智能层;Replit、Notion 这样的成长期公司会吃到红利。

明天就能用的四件事

这期节目播于 2023 年 2 月,有些判断后来被验证,有些被证伪。但有四件事现在就能用:

  • 学编程的话,把重心从“写”挪到“读”:读代码、调试、让模型解释代码,这些是模型短期内替代不掉的部分。
  • 用 LLM 干活,默认它带着 0.2% 的隐性错误率。高频、重复、要求绝对可靠的任务,写成脚本跑,比每次问模型便宜也稳。
  • 做 AI 产品先回答护城河问题:要么有规模经济的钱和数据,要么有分发。既没数据又没渠道的提示词套壳,是最先被冲掉的一层。
  • 已经有用户和渠道的产品,尽快把 AI 加进去;从零做 AI-first 新产品的风险,比看上去大。

至于人类会不会灭绝,四个人没吵出结果。Antonio 那句话值得留着:问计算机能不能思考,就像问潜艇会不会游泳。要紧的是它跑四十节,你跑一节。

We're hiring across the board at Turpentine and for Erik's personal team on other projects he's incubating. He's hiring a Chief of Staff, EA, Head of Special Projects, Investment Associate, and more. For a list of JDs, check out: eriktorenberg.com.

(0:00) Preview of the debate
(2:23) Sponsor
(3:10) Flo’s take on the AI moment and AGI
(5:45) Amjad’s take on the AI moment
(8:03) Antonio's skepticism about transhumanism
(9:10) Human tendencies color the debate about agency
(11:25) The inflection point is a jump in generality
(13:14) AI's effect on coding
(16:57) Weakness in current models
(19:18) Bounties and the future of work
(21:48) Antonio's skepticism around bounties
(25:00) Who will capture value, incumbents or startups?
(27:26) "All knowledge work will be automated in 20 years"
(30:10) Who will be the biggest beneficiaries of this shift?
(31:50) What AI companies should VCs invest in?
(32:26) Sponsor

SPONSORS: SHOPIFY | OMNEKY
Shopify is the global commerce platform that helps you sell at every stage of your business. Shopify powers 10% of ALL eCommerce in the US. And Shopify's the global force behind Allbirds, Rothy's, and Brooklinen, and 1,000,000s of other entrepreneurs across 175 countries.From their all-in-one e-commerce platform, to their in-person POS system – wherever and whatever you're selling, Shopify's got you covered. With free Shopify Magic, sell more with less effort by whipping up captivating content that converts – from blog posts to product descriptions using AI. Sign up for $1/month trial period: https://shopify.com/cognitive

Thank you Omneky for sponsoring The Cognitive Revolution. Omneky is an omnichannel creative generation platform that lets you launch hundreds of thousands of ad iterations that actually work, customized across all platforms, with a click of a button. Omneky combines generative AI and real-time advertising data, to generate personalized experiences at scale. 
Twitter:
@CogRev_Podcast
@amasad (Amjad)
@antoniogm (Antonio)
@altimor (Flo)
@dwr (Dan)
@eriktorenberg (Erik)
@labenz (Nathan)

Subscribe to our Substack: https://cognitiverevolution.substack.com/

Websites:
cognitivervolution.ai
replit.com
teamflowhq.com
omneky.com

Show Notes & references:
Eliezer Yudkowsky: https://www.lesswrong.com/posts/FKNtgZrGYwgsz3nHT/bankless-podcast-159-we-re-all-gonna-die-with-eliezer
Paul Christiano: https://paulfchristiano.com/
AI Feedback: https://www.anthropic.com/constitutional.pdf

RECOMMENDED PODCAST:
The HR industry is at a crossroads. What will it take to construct the next generation of incredible businesses – and where can people leaders have the most business impact? Hosts Nolan Church and Kelli Dragovich have been through it all, the highs and the lows – IPOs, layoffs, executive turnover, board meetings, culture changes, and more. With a lineup of industry vets and experts, Nolan and Kelli break down the nitty-gritty details, trade offs, and dynamics of constructing high performing companies. Through unfiltered conversations that can only happen between seasoned practitioners, Kelli and Nolan dive deep into the kind of leadership-level strategy that often happens behind closed doors. Check out the first episode with the architect of Netflix’s culture deck Patty McCord.
https://link.chtbl.com/hrheretics

This show is produced by Turpentine: a network of podcasts, newsletters, and more, covering technology, business, and culture — all from the perspective of industry insiders and experts. We’re launching new shows every week, and we’re looking for industry-leading sponsors — if you think that might be you and your company, email us at erik@turpentine.co.

本集资源与出处